ジャンプ先:

Robots.txt は、一般的に Web サイトのルートに配置されるファイルです。このファイルは、クローラー からの Web サイトアクセスを許可するか、または禁止するかを決定します。

例えば、 他のサーチエンジンに特定のファイルがインデックスされないように、サイト管理者はクローラーが特定のフォルダ(とそこに含まれるすべてのファイル)にアクセスしたり、特定ファイルをクロールするのを禁止できます。

詳細情報

一般的な知識

ドキュメントのタグと貢献者

このページの貢献者: Uemmra3, YuichiNukiyama
最終更新者: Uemmra3,