robots.txt チェッカー
ドメインの robots.txt を取得し、検索エンジン向けの Disallow / Allow / Sitemap 設定を確認できます。クロール制御やサイトマップ指定の点検に使えます。
このツールは …回 使われています。
入力例: example.com / https://example.com/。入力されたURLから /robots.txt を自動で確認します。
履歴:
関連チェッカー
robots.txt とは？
1
ドメインを入力
example.com のようにドメインだけでも、URL全体でも入力できます。
2
ルールを確認
User-agent ごとの Disallow・Allow 設定が一覧で確認できます。
3
サイトマップも表示
Sitemap ディレクティブが設定されていれば、URL を合わせて表示します。
確認できること
- User-agent ごとの Disallow / Allow ルール
- Googlebot など特定クローラー向けの制御
- Sitemap ディレクティブに書かれたサイトマップURL
- robots.txt が存在するか、取得できない状態か
ご利用上の注意
- robots.txt が存在しないサイト（404）は「見つかりませんでした」と表示されます。
- セキュリティ設定の強いサイトでは取得できない場合があります（403 等）。その場合は直接アクセスできるリンクが表示されます。
- robots.txt はクロール制御のためのファイルです。検索結果への表示制御には noindex など別の指定が必要です。
- robots.txt はクローラーへの「お願い」であり、アクセス制限やセキュリティ対策の代わりにはなりません。