【えーあいくろーらー】
AIクローラー とは？
公開:
💡 AIのためにページを読む、目的別の巡回係
AIクローラーは、AIの学習や検索・回答のためにWebページを自動取得するプログラム。学習用の収集と、回答のための検索や利用者の依頼に応じたアクセスは、目的を分けて考える必要があります。
📌 このページのポイント
ひよこ ページを読まれたら、そのAIが必ず学習するの？
ペンギン先生 そこは違うよ。モデルを学習させるための収集、検索のための索引作り、利用者の依頼に応じた取得は別の目的なんだ。同じAIの会社でも、用途ごとに別のボットを使うことがあるよ。
ひよこ サイトの持ち主は、来ないでって言える？
ペンギン先生 ひよこ 全部止めたほうがいいのかな？
ペンギン先生 目的しだいだね。学習への利用は制限しつつ、検索から来てもらうための取得は許可したい場合もある。ボットの目的と実際のアクセスを見て決めることが大切だよ。
もっと詳しく知りたい人へ
User-Agentを見れば本物のAIクローラーだと分かる？
User-Agentは申告される文字列なので、それだけで本物とは断定できません。提供元の公開情報や検証方法、アクセス元なども確認します。ボットを検証する仕組みがあるCDNを利用する場合も、分類と制御の対象を確認してください。
📖 おまけ：英語の意味
「AI Crawler」 ＝ AI向けにWebを巡回するプログラム
💬 CrawlerはWebをたどって情報を集めるプログラム。AIに関連する用途でも、何のために読むかを分けることが大切なんだよ。