Crawler網路爬蟲（web crawler）是個程式，也被稱作機器人（bot、robot），會系統化瀏覽網路 (en-US)以蒐集網頁資料。通常，搜尋引擎會用爬蟲建立網頁索引。深入理解 維基百科的 網路爬蟲