Robots.txt

Robots.txt 是一个通常放置在任何网站根目录下的文件。它决定了爬虫是否被允许访问网站。

例如，网站管理员可以禁止爬虫访问某个文件夹（以及其中包含的所有文件）或爬取特定文件，通常是为了防止这些文件被其他搜索引擎索引。