robots.txt
robots.txt とは何ですか?
robots.txtサイトのルートに置かれるテキストファイルで、行儀のよいクローラーに対して取得を許可・禁止するパスを伝える。IETF RFC 9309 で標準化されている。
robots.txt は、サイトのルート(例: https://example.com/robots.txt)に置かれるプレーンテキストファイルで、IETF RFC 9309 として標準化された Robots Exclusion Protocol を用います。User-agent と Disallow/Allow ディレクティブによって、準拠するクローラーに取得可否を伝え、サイトマップの場所も告知できます。robots.txt はあくまで指針であってアクセス制御ではありません。悪意のあるボットは無視しがちで、機密パスを記載すると攻撃者へのヒントになります。防御側は認証・認可・レート制限・noindex タグと組み合わせ、秘密 URL の隠蔽には使うべきではありません。
● 例
- 01
Disallow: /admin/ の記載。準拠クローラーは従うが、攻撃者は管理パスを探る手掛かりにする。
- 02
Sitemap: https://example.com/sitemap.xml の行で検索エンジンに公開コンテンツのインデックスを促す。
● よくある質問
robots.txt とは何ですか?
サイトのルートに置かれるテキストファイルで、行儀のよいクローラーに対して取得を許可・禁止するパスを伝える。IETF RFC 9309 で標準化されている。 サイバーセキュリティの アプリケーションセキュリティ カテゴリに属します。
robots.txt とはどういう意味ですか?
サイトのルートに置かれるテキストファイルで、行儀のよいクローラーに対して取得を許可・禁止するパスを伝える。IETF RFC 9309 で標準化されている。
robots.txt はどのように機能しますか?
robots.txt は、サイトのルート(例: https://example.com/robots.txt)に置かれるプレーンテキストファイルで、IETF RFC 9309 として標準化された Robots Exclusion Protocol を用います。User-agent と Disallow/Allow ディレクティブによって、準拠するクローラーに取得可否を伝え、サイトマップの場所も告知できます。robots.txt はあくまで指針であってアクセス制御ではありません。悪意のあるボットは無視しがちで、機密パスを記載すると攻撃者へのヒントになります。防御側は認証・認可・レート制限・noindex タグと組み合わせ、秘密 URL の隠蔽には使うべきではありません。
robots.txt からどのように防御しますか?
robots.txt に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。
robots.txt の別名は何ですか?
一般的な別名: ロボット排除プロトコル, RFC 9309。