ジャンプ先:

ウェブクローラーは、よく bot や robot と呼ばれ、ウェブページからデータを収集するために自動的にウェブを閲覧するものです。一般的に、 (Google や Bing などの) 検索エンジンは、クローラーを用いてインデックスを構築します。

理解を深める

ドキュメントのタグと貢献者

このページの貢献者: mfuji09, Uemmra3, dskmori, YuichiNukiyama
最終更新者: mfuji09,