ドメインの robots.txt を取得し、検索エンジン向けの Disallow / Allow / Sitemap 設定を確認できます。クロール制御やサイトマップ指定の点検に使えます。
このツールは …回 使われています。
入力例: example.com / https://example.com/。ドメインだけの場合はHTTPSを確認します。HTTPを調べる場合は http:// を付けてください。入力URLのパスにかかわらず、サイト直下の /robots.txt を確認します。
確認対象: 有効なドメインまたはURLを入力すると表示します。
履歴:
関連チェッカー
robots.txt とは？
robots.txt は、サイト直下に置き、クローラーにクロールしてほしくないURLなどを伝えるテキストファイルです。指示の扱いはクローラーによって異なります。
1
ドメインを入力
example.com のようにドメインだけでも、URL全体でも入力できます。
2
ルールを確認
User-agent ごとの Disallow・Allow 設定が一覧で確認できます。
3
サイトマップも表示
Sitemap ディレクティブが設定されていれば、URL を合わせて表示します。
確認できること
- User-agent ごとの Disallow / Allow ルール
- Googlebot など特定クローラー向けの制御
- Sitemap ディレクティブに書かれたサイトマップURL
- robots.txt が存在するか、取得できない状態か
結果の読み方
- User-agent: その後のルールを適用するクローラーを示します。
- Disallow: 対象クローラーにクロールしないよう伝えるパスです。値が空なら、この行で制限するパスは指定されていません。
- Allow: 対象クローラーにクロールを許可するパスを示します。細かな解釈はクローラーによって異なる場合があります。
- Sitemap: サイトマップの場所を示します。
このツールは記載されたルールを表示します。特定のURLが実際にクロール可能か、検索結果に登録されるかを判定するものではありません。
ご利用上の注意
- robots.txt が存在しないサイト（404）は「見つかりませんでした」と表示されます。
- 接続先の設定により取得が拒否される場合（403 等）、直接確認できるリンクが表示されます。
- 入力したドメインまたはURLは、robots.txt の取得のためにNOVEBLOのサーバーへ送信されます。
- robots.txt はクロール制御のためのファイルです。検索結果への表示制御には noindex など別の指定が必要です。
- robots.txt はクローラーへの「お願い」であり、アクセス制限やセキュリティ対策の代わりにはなりません。