Cloudflare、検索表示を維持しAI学習のみ拒否する新設定を提供開始

Cloudflare（クラウドフレア）は2026年 9月 15日（本国発表）、AIによるコンテンツ収集を行うクローラーについて、新たに「Accountable（説明責任がある）」という認定区分を設けたと発表しました。あわせて、ウェブサイトが検索結果に表示され続けたまま、AI学習への利用だけを拒否できる新設定「Disallow AI Training」の提供を開始しました。

検索維持とAI学習拒否を両立する新設定

検索インデックス用とAI学習用のコンテンツを1つのクローラーでまとめて収集する「兼用クローラー（mixed-use crawler）」は、現在、Cloudflareのネットワークで確認されるクローラートラフィックの36.6%を占めています。

サイト側の動向として、検索クローラーを拒否しているサイトは1%未満にとどまる一方、17%がAI学習を制限しています。しかし従来は適切な制御手段を持たないクローラーの場合、AI学習を拒否すると検索結果からも消えてしまう状態となっていました。

今回提供が開始された新設定により、出版社やメディア業界をはじめとする企業は、ウェブサイトを検索結果に表示させたまま、AI学習への利用のみを拒否できるようになります。

説明責任を満たす「Accountable」認定と3社の対応

Cloudflareは、兼用クローラーを含めたAIクローリングの基準を明文化しました。クローラーの運営者は、次の4要件を満たすか、定められた期限内に満たすことを約束する必要があります。

robots.txtまたは同等の仕組みを通じて、サイト所有者がAI学習を明確に拒否できるようにすること
サイト所有者が、AIによる検索要約への掲載を拒否できるようにすること
検索とAI学習のそれぞれについて、コンテンツがどのように使われたかをURL単位で開示すること
AI学習を拒否しても従来の検索順位に影響しないことを、公に明言すること

今回、Apple、Google、Microsoftの3社が基準を満たしている、または満たすための具体的な期限を示したことから「Accountable」に認定されました。基準を満たさないその他の兼用クローラーは、サイト側がAI学習を拒否した時点でブロックされます。

Cloudflareの共同創業者兼CEOであるマシュー・プリンス（Matthew Prince）は、検索の価値を支えてきたオープン性を保ちながら、ウェブを支える人々や企業が成果物の使われ方をコントロールできるようにすることが重要であるとしたうえで、Apple、Google、Microsoftなどの企業と協力しながら健全なエコシステムを築いていく考えを示しています。

3つの用途別管理機能と推奨設定

Cloudflareは、従来の「Block AI Bots」という一括スイッチを廃止し、「検索」「AI学習」「AIエージェント」の3つを個別に設定できる管理機能へ置き換えます。また、新たに開設されるサイトにはビジネスモデルに応じた推奨設定が提示されます。

広告を掲載しているサイト：検索クロールは許可、AI学習は拒否、広告掲載ページではAIエージェントをブロック
それ以外のサイト：検索、AI学習、AIエージェントをいずれも許可

さらに「Managed Robots.txt」機能は「Bot Preference Sync」に置き換わり、クロールに関する意向を一度設定すれば、対応するすべてのクローラーに自動的に反映されるようになります。あわせて、IETF（Internet Engineering Task Force）で策定中の仕様「ai-prefs」など、標準化の取り組みにも参加しています。

Cloudflareについて

企業名：Cloudflare, Inc.（NYSE:NET）
公式サイト：https://www.cloudflare.com/ja-jp/
コネクティビティクラウド詳細：https://www.cloudflare.com/ja-jp/connectivity-cloud/
インターネット動向（Cloudflare Radar）：https://radar.cloudflare.com

本記事はCloudflareの発表をもとに作成されています。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。