クロールとは、インターネット上にある情報を収集しデータベース化する自動巡回ロボット「クローラー」が、サイトを巡回し、情報を収集することです。
検索サイトのデータベースや、研究機関が調査等を行う目的で行われます。
自身のサイトをお持ちの方は、特にクロールについて理解しておく必要があります。なぜなら、クローラーによる情報収集は検索順位を判断する重要な役割を果たしているからです。
クローラーはまず、ネット上にあるWebサイトを巡回し、情報収集(クロール)します。その後、クロールしたサイトの中から、集められた情報をもとにユーザーにとって有益かどうかといったアルゴリズムによって検索順位を決定します。
つまり、まずはサイトがクロールされて検索エンジンに表示されることが、検索順位を上げる第一段階として必要なのです。