Crawler

Ein Web-Crawler ist ein Programm, das oft als Bot oder Roboter bezeichnet wird und systematisch das Web durchsucht, um Daten von Webseiten zu sammeln. Typischerweise verwenden Suchmaschinen (z. B. Google, Bing usw.) Crawler, um Indizes zu erstellen.