Crawler

Ein Crawler ist ein Programm – oft auch Bot oder Robot genannt –, das systematisch das Web durchforstet, um Daten von Webseiten zu sammeln. Typischerweise nutzen Suchmaschinen (beispielsweise Google, Bing, etc.) Crawler zur Indexierung.

Mehr dazu