確認済みボットも「その後の行動」を見る — Cloudflareが継続評価の仕組みを発表
この記事は時点のニュースです。現在の提供状況とは異なる場合があります。誤りの訂正は随時行います。
ペンギン先生、自分のブログに「確認済みボット」が来たら、安心して任せていいの?
そもそも、ボットって何をしに来るの?
どこを読んでいいかは、どう伝えるの?
robots.txtというファイルで、クローラー向けの巡回ルールを示せるよ。ただし鍵のようにアクセスを防ぐ仕組みではないんだ。秘密のページを守るには、ログインなどのアクセス制御を別に用意する必要があるよ。
読んでよいページでも、何度も来たら困りそう!
そこでHTTPの429応答が登場するよ。一定の時間内にリクエストを送りすぎたことを伝える番号なんだ。待ち時間を示すRetry-Afterが付くこともあるけれど、必ず付くわけではないよ。
Cloudflareは、そこで何を見るの?
巡回ルールを守るかに加え、429を受けた後にアクセスを減らしたり、一時停止したりするかを見るよ。単発の失敗だけで決めつけず、繰り返し見られる行動を評価するんだ。
もう私のサイトでも、この新しい評価を設定できる?
発表時点では社内で評価に使っている段階だよ。全Cloudflare顧客への提供と、Radarでの評価公開は今後の計画。具体的な開始日や日本向けの時期は示されていないんだ。
じゃあ、429を返せば、相手は必ず止まるの?
応答を返すことと、相手が従うことは別だよ。また、サーバーが負荷を抑えるために接続を切る場合もあり、制限時に必ず429が返るわけではない。ボットを作る側は、相手の応答や利用条件に合わせた待ち方を考えるんだ。
今回のニュースは、どう覚えておけばいい?
「身元を確認した後も、行動を見る」と覚えよう。サイトを運営する側なら、巡回ルールと実際のアクセスを見比べる視点が役立つね。今回の仕組みは社内で評価中で、一般向けの提供計画とは分けて読むとよいよ。
身元の確認と、アクセスの扱いを分けて考える
自分のお店のブログに、自動巡回するプログラムが来る場面を想像してみましょう。運営元が分かっても、サイトの負荷や巡回ルールを尊重してくれるかは、実際の動きを見る必要があります。
今回覚えたいのは、相手を識別すること、希望するルールを伝えること、アクセスを制御することには、それぞれ役割があるという点です。robots.txtに書けば秘密の情報を隠せる、429を返せば相手が確実に待つ、という保証にはなりません。
robots.txtの標準仕様は2022年9月公開のRFC 9309です。巡回ルールはアクセスの認可そのものではなく、ファイル自体も公開されます。HTTP 429は2012年4月公開のRFC 6585で定義されています。どの利用者の何回のアクセスを数えるかはサービス側の設計によります。これらの仕様の公開日と、今回のCloudflareの発表日は別です。
参考資料
- Cloudflare公式発表:Continuous accountability for Verified bots — 2026年10月16日発表。評価対象と提供段階。
- RFC 9309:Robots Exclusion Protocol — 2022年9月公開。第1節・第3節の巡回ルールとアクセス制御の違い。
- RFC 6585:Additional HTTP Status Codes — 2012年4月公開。第4節・第7.2節の429応答、任意のRetry-After、接続を切る場合。
資料本文の確認日:2026年10月17日。RFCの公開日は月までの記載をそのまま示しています。
出典・確認した情報
- Continuous accountability for Verified bots
発表日: 2026-10-16 / 確認日: 2026-10-17
- Verified botsについて、robots.txtへの対応とHTTP 429受信後の行動を継続評価する仕組みを発表。
- 単発の出来事より継続的な行動傾向を評価する。社内で利用中で、全顧客への提供とRadarでの評価公開は今後の計画。