クローラーとは

クローラーとは、インターネット上のあらゆる情報を収集し、検索データベースを形成するために巡回するロボットのことです。

ロボットによって収集された情報は、データベース化され、ランク付けされ、検索結果として表示されます。そのため、SEO的に検索結果に上位表示させたいという場合は、クローラーからWebページを巡回されることで成り立ちます。この、クローラーがWebページを巡回することをクローリングといいます。

また、クローリングのされやすいようにすることを、クローラビリティを高めると言います。