Crawler

This translation is incomplete. Please help translate this article from English

Поисковый робот(паук, краулер) часто называемый просто "бот" или "робот" это программа, систематически обходящая Web для сбора данных со страниц веб-сайтов. Обычно поисковые сервисы (напр. Google, Bing, и пр.) используют поисковых роботов для индексирования сайтов.

Узнать больше