Crawler

网络爬虫是一种能有条理并且系统化地浏览Web，以便收集网页数据的程序（通常也被称作“机器人”）。搜索引擎（例如谷歌，必应）利用爬虫来创建索引是网络爬虫最典型的使用案例。