確認済みボットも「その後の行動」を見る — Cloudflareが継続評価の仕組みを発表

この記事は時点のニュースです。現在の提供状況とは異なる場合があります。誤りの訂正は随時行います。


確認済みボットも、サイトへの行動を継続評価 ボットとWebサイトを横に配置。サイトが示すrobots.txtと429応答に対し、巡回ルールを守るか、アクセスを減らすかを観察する。Cloudflareは社内で評価中で、全顧客への提供は今後の計画。 身元の確認 + その後の行動 確認済み ボット robots.txt 429応答 Webサイト ルール・応答 守る? 減らす? 行動を観察する 単発の失敗より、継続的な傾向を見る Cloudflare:発表時点では社内で評価中 全顧客への提供は今後の計画
2026年10月16日の発表内容の概念図。矢印はサイトからのルール・応答を表します。robots.txtはアクセスを防ぐ鍵ではなく、429応答も相手の停止を保証しません。
ひよこ ひよこ
ペンギン先生、自分のブログに「確認済みボット」が来たら、安心して任せていいの?
ペンギン先生 ペンギン先生
確認後の行動も大切だよ。Cloudflareは10月16日、Verified botsと呼ぶ確認済みボットについて、サイトの意向を守っているか継続評価する仕組みを発表したんだ。
ひよこ ひよこ
そもそも、ボットって何をしに来るの?
ペンギン先生 ペンギン先生
自動で仕事をするプログラムで、Webページを巡回するものはクローラーと呼ぶよ。たとえばお店のブログを巡回する場合、「誰が動かしているか」と「どこを、どれくらい読むか」は別の確認事項だね。
ひよこ ひよこ
どこを読んでいいかは、どう伝えるの?
ペンギン先生 ペンギン先生
robots.txtというファイルで、クローラー向けの巡回ルールを示せるよ。ただし鍵のようにアクセスを防ぐ仕組みではないんだ。秘密のページを守るには、ログインなどのアクセス制御を別に用意する必要があるよ。
ひよこ ひよこ
読んでよいページでも、何度も来たら困りそう!
ペンギン先生 ペンギン先生
そこでHTTPの429応答が登場するよ。一定の時間内にリクエストを送りすぎたことを伝える番号なんだ。待ち時間を示すRetry-Afterが付くこともあるけれど、必ず付くわけではないよ。
ひよこ ひよこ
Cloudflareは、そこで何を見るの?
ペンギン先生 ペンギン先生
巡回ルールを守るかに加え、429を受けた後にアクセスを減らしたり、一時停止したりするかを見るよ。単発の失敗だけで決めつけず、繰り返し見られる行動を評価するんだ。
ひよこ ひよこ
もう私のサイトでも、この新しい評価を設定できる?
ペンギン先生 ペンギン先生
発表時点では社内で評価に使っている段階だよ。全Cloudflare顧客への提供と、Radarでの評価公開は今後の計画。具体的な開始日や日本向けの時期は示されていないんだ。
ひよこ ひよこ
じゃあ、429を返せば、相手は必ず止まるの?
ペンギン先生 ペンギン先生
応答を返すことと、相手が従うことは別だよ。また、サーバーが負荷を抑えるために接続を切る場合もあり、制限時に必ず429が返るわけではない。ボットを作る側は、相手の応答や利用条件に合わせた待ち方を考えるんだ。
ひよこ ひよこ
今回のニュースは、どう覚えておけばいい?
ペンギン先生 ペンギン先生
「身元を確認した後も、行動を見る」と覚えよう。サイトを運営する側なら、巡回ルールと実際のアクセスを見比べる視点が役立つね。今回の仕組みは社内で評価中で、一般向けの提供計画とは分けて読むとよいよ。

身元の確認と、アクセスの扱いを分けて考える

自分のお店のブログに、自動巡回するプログラムが来る場面を想像してみましょう。運営元が分かっても、サイトの負荷や巡回ルールを尊重してくれるかは、実際の動きを見る必要があります。

今回覚えたいのは、相手を識別すること、希望するルールを伝えること、アクセスを制御することには、それぞれ役割があるという点です。robots.txtに書けば秘密の情報を隠せる、429を返せば相手が確実に待つ、という保証にはなりません。

robots.txtの標準仕様は2022年9月公開のRFC 9309です。巡回ルールはアクセスの認可そのものではなく、ファイル自体も公開されます。HTTP 429は2012年4月公開のRFC 6585で定義されています。どの利用者の何回のアクセスを数えるかはサービス側の設計によります。これらの仕様の公開日と、今回のCloudflareの発表日は別です。

参考資料

資料本文の確認日:2026年10月17日。RFCの公開日は月までの記載をそのまま示しています。

出典・確認した情報

  • Continuous accountability for Verified bots

    発表日: 2026-10-16 / 確認日: 2026-10-17

    • Verified botsについて、robots.txtへの対応とHTTP 429受信後の行動を継続評価する仕組みを発表。
    • 単発の出来事より継続的な行動傾向を評価する。社内で利用中で、全顧客への提供とRadarでの評価公開は今後の計画。