クローラー（Webクローラー） とは？

ウェブサイトを自動的に巡回して情報を集めるプログラムだよ。検索エンジンのGoogleは「Googlebot」というクローラーを使って世界中のウェブページを巡回し、内容を記録しているんだ。その記録をもとに検索結果を表示しているよ。

あるページのリンクをたどって次のページへ、そこのリンクからまた次のページへ…と芋づる式に巡回するんだ。集めた情報は「インデックス」という巨大なデータベースに保存されて、ユーザーが検索したときに使われるよ。

robots.txtというファイルをサイトのルートに置くと、クローラーに「このページは見ないでね」と伝えられるよ。ただしこれはお願いベースで、行儀の良いクローラーは従ってくれるけど、強制力はないんだ。

たくさんあるよ。SEOツールのクローラー、セキュリティスキャナー、価格比較サイトのクローラー、AI学習データ収集のクローラーなど種類は多い。そして実はここが厄介で、ウェブサーバーへのアクセスの半分以上がボット（クローラーを含む）だと言われているんだ。悪意あるクローラーがサイトの脆弱性を探したり、コンテンツを丸パクリしたり、サーバーに負荷をかけたりすることもある。robots.txtは善意のクローラーにしか効かないから、本当にアクセスを防ぎたい場合はサーバー側でIPブロックやレート制限をかける必要があるんだよ。