Ein Crawler ist ein Programm – oft auch Bot oder Robot genannt –, das systematisch das Web durchforstet, um Daten von Webseiten zu sammeln. Typischerweise nutzen Suchmaschinen (beispielsweise Google, Bing, etc.) Crawler zur Indexierung.
Mehr dazu
- Webcrawler auf Wikipedia