Crawler (クローラー)

ウェブクローラーは、よく bot や robot と呼ばれ、ウェブページからデータを収集するために自動的にウェブを閲覧するものです。一般的に、 (Google や Bing などの) 検索エンジンは、クローラーを用いてインデックスを構築します。

理解を深める

  1. 関連用語:

    1. 検索エンジン