クローラーとは

検索エンジンがホームページを巡回して、自動的に情報を収集するプログラム。
ロボットやスパイダーとも呼ばれてます。