We're looking for a user researcher to understand the needs of developers and designers. Is this you or someone you know? Check out the post: https://mzl.la/2IGzdXS

ここへジャンプ:

Robots.txt は、一般的に Web サイトのルートに配置されるファイルです。このファイルは、クローラー からの Web サイトアクセスを許可するか、または禁止するかを決定します。

例えば、 他のサーチエンジンに特定のファイルがインデックスされないように、サイト管理者はクローラーが特定のフォルダ(とそこに含まれるすべてのファイル)にアクセスしたり、特定ファイルをクロールするのを禁止できます。

詳細情報

一般的な知識

ドキュメントのタグと貢献者

このページの貢献者: Uemmra3, YuichiNukiyama
最終更新者: Uemmra3,