Crawler

網路爬蟲(web crawler)是個程式,也被稱作機器人(bot、robot),會系統化瀏覽網路以蒐集網頁資料。通常,搜尋引擎會用爬蟲建立網頁索引。

深入理解