MDN’s new design is in Beta! A sneak peek: https://blog.mozilla.org/opendesign/mdns-new-design-beta/

Robots.txt は、一般的に Web サイトのルートに配置されるファイルです。このファイルは、クローラー からの Web サイトアクセスを許可するか、または禁止するかを決定します。

例えば、 他のサーチエンジンに特定のファイルがインデックスされないように、サイト管理者はクローラーが特定のフォルダ(とそこに含まれるすべてのファイル)にアクセスしたり、特定ファイルをクロールするのを禁止できます。

詳細情報

一般的な知識

ドキュメントのタグと貢献者

 このページの貢献者: Uemmra3, YuichiNukiyama
 最終更新者: Uemmra3,