Crawler

Ein Web-Crawler ist ein Programm, oft als Bot oder Roboter bezeichnet, das systematisch das Web durchsucht, um Daten von Webseiten zu sammeln. Typischerweise verwenden Suchmaschinen (z. B. Google, Bing usw.) Crawler, um Indizes zu erstellen.