Ein Crawler ist ein Programm – oft auch Bot oder Robot genannt –, das systematisch das Web durchforstet, um Daten von Webseiten zu sammeln. Typischerweise nutzen Suchmaschinen (beispielsweise Google, Bing, etc.) Crawler zur Indexierung.
Mehr dazu
- Webcrawler auf Wikipedia
Schlagwörter des Dokuments und Mitwirkende
Mitwirkende an dieser Seite:
mdnwebdocs-bot,
pastparty
Zuletzt aktualisiert von:
mdnwebdocs-bot,