robots.txt生成ツール
クローラーのアクセス設定を選択してrobots.txtを自動生成します。
プリセット
ルール 1
使い方
プリセットを選ぶか、User-agent・Allow・Disallowパスを入力して「robots.txtを生成」をクリックします。
生成されたテキストをダウンロードし、Webサーバーのルートディレクトリに配置してください。
Disallowが空の場合はそのUser-agentのクロールをすべて許可します。
Googleなど主要検索エンジンはrobots.txtを尊重しますが、全てのクローラーが従うわけではありません。
おすすめサービス
※ PR・広告を含みます
関連ツール
📋🔄🔗✍️🏷️📊🔍🔢⏱️🆔🌐📑
JSON整形
JSONデータを見やすくフォーマット。構文チェックも同時に行います。
Base64変換
テキストをBase64にエンコード・デコード。日本語テキストにも対応。
URLエンコード/デコード
URLの日本語や特殊文字をパーセントエンコーディング形式に変換・復元。
マークダウンプレビュー
マークダウン記法をリアルタイムでHTMLプレビュー表示。
HTMLエスケープ
HTMLの特殊文字をエスケープ・アンエスケープ。XSS対策に。
CSV⇔JSON変換
CSVデータをJSON形式に、JSONをCSV形式に相互変換。
正規表現テスト
正規表現パターンをリアルタイムでテスト。マッチ結果を即確認。
進数変換
2進数・8進数・10進数・16進数を相互変換。
タイムスタンプ変換
Unixタイムスタンプと日時を相互変換。現在時刻も表示。
UUID生成
ランダムなUUID（v4）を一括生成。最大100個まで。
IPアドレス確認
自分のIPアドレス・端末情報・ブラウザ情報を確認。
JSON⇔YAML変換
JSONとYAMLを相互変換。設定ファイルの形式変更に。