robots.txtジェネレーター

robots.txtジェネレーターの使い方

このツールでは、Webサイトのrobots.txtファイルを簡単に作成できます。User-agentルールを追加し、Allow（許可）やDisallow（不許可）のパスを設定するだけで、正しい形式のrobots.txtが自動生成されます。「すべて許可」「すべてブロック」「AIボットをブロック」などのプリセットも用意されています。サイトマップURLの追加や、生成結果の検証機能も備えています。

robots.txtの基本

robots.txtは、検索エンジンのクローラー（ボット）に対してWebサイトのクロール方法を指示するテキストファイルです。Webサイトのルートディレクトリに配置し、どのページをクロールしてよいか（Allow）、どのページをクロールすべきでないか（Disallow）を指定します。User-agentディレクティブで対象のクローラーを指定し、*（アスタリスク）はすべてのクローラーを意味します。

よくある質問（FAQ）

Q. robots.txtとは何ですか？

A. robots.txtは、Webサイトのルートディレクトリに配置するテキストファイルで、検索エンジンのクローラーに対してクロールの許可・不許可を指示します。Robots Exclusion Protocolに基づいています。

Q. robots.txtはSEOに影響しますか？

A. はい、影響します。robots.txtで重要なページのクロールをブロックすると、そのページが検索結果に表示されなくなる可能性があります。逆に、不要なページのクロールを制限することで、クロールバジェットを効率的に使用できます。

Q. robots.txtはどこに配置しますか？

A. robots.txtはWebサイトのルートディレクトリ（例: https://example.com/robots.txt）に配置する必要があります。サブディレクトリに配置しても認識されません。

Q. Crawl-delayとは何ですか？

A. Crawl-delayは、クローラーに対してリクエスト間の待機時間（秒数）を指示するディレクティブです。サーバーへの負荷を軽減するために使用します。ただし、Googlebotはこのディレクティブを無視します。