robots.txt生成ツール
クローラーのアクセス設定を選択してrobots.txtを自動生成します。
プリセット
ルール 1
使い方
プリセットを選ぶか、User-agent・Allow・Disallowパスを入力して「robots.txtを生成」をクリックします。
生成されたテキストをダウンロードし、Webサーバーのルートディレクトリに配置してください。
Disallowが空の場合はそのUser-agentのクロールをすべて許可します。
Googleなど主要検索エンジンはrobots.txtを尊重しますが、全てのクローラーが従うわけではありません。
開発作業で使うときの確認ポイント
- •多くの変換・整形ツールはブラウザ内で処理します。DNS確認やIP確認のように外部通信が必要な機能は、ページ内の説明も確認してください。
- •整形・変換・生成結果は、言語仕様や実行環境によって解釈が変わる場合があります。本番投入前にテスト環境やCIで検証してください。
- •JSON、正規表現、HTTPヘッダーなどは小さな差分が不具合につながるため、変更前後を保存して比較する運用がおすすめです。
関連ツール
📋🔄🔗✍️🏷️📊🔍🔢⏱️🆔🌐📑
JSON整形
JSONデータを見やすくフォーマット。構文チェックも同時に行います。
Base64変換
テキストをBase64にエンコード・デコード。日本語テキストにも対応。
URLエンコード/デコード
URLの日本語や特殊文字をパーセントエンコーディング形式に変換・復元。
マークダウンプレビュー
マークダウン記法をリアルタイムでHTMLプレビュー表示。
HTMLエスケープ
HTMLの特殊文字をエスケープ・アンエスケープ。XSS対策に。
CSV⇔JSON変換
CSVデータをJSON形式に、JSONをCSV形式に相互変換。
正規表現テスト
正規表現パターンをリアルタイムでテスト。マッチ結果を即確認。
進数変換
2進数・8進数・10進数・16進数を相互変換。
タイムスタンプ変換
Unixタイムスタンプと日時を相互変換。現在時刻も表示。
UUID生成
ランダムなUUID（v4）を一括生成。最大100個まで。
IPアドレス確認
自分のIPアドレス・端末情報・ブラウザ情報を確認。
JSON⇔YAML変換
JSONとYAMLを相互変換。設定ファイルの形式変更に。
🗂️ カテゴリから他のツールを探す
画像・メディア
テキスト
デザイン
関連ガイド記事
このツールをシェア