robots.txt チェッカー
ドメインの robots.txt を取得し、クローラーへの設定内容を確認できます。
このツールは …回 使われています。
履歴:
robots.txt とは？
1
ドメインを入力
example.com のようにドメインだけでも、URL全体でも入力できます。
2
ルールを確認
User-agent ごとの Disallow・Allow 設定が一覧で確認できます。
3
サイトマップも表示
Sitemap ディレクティブが設定されていれば、URL を合わせて表示します。
ご利用上の注意
- robots.txt が存在しないサイト（404）は「見つかりませんでした」と表示されます。
- セキュリティ設定の強いサイトでは取得できない場合があります（403 等）。その場合は直接アクセスできるリンクが表示されます。
- robots.txt はクローラーへの「お願い」であり、強制力はありません。