生成AIの研修やコンサルティングなどを手がける株式会社Uravationは、47都道府県、20政令指定都市、府省庁など国の行政機関の公式サイト計114サイトを対象に、AIクローラーへの対応状況を調査しました。

2026年11月2日に実施された調査によると、「robots.txt」に応答のあった106サイトのうち98.1%にあたる104サイトにおいて、AIクローラーに関する記載がないことが判明しました。また、AI向けのサイト案内ファイルである「llms.txt」を設置していたのは、応答のあった103サイトのうち1サイト（1.0%）にとどまりました。

AIクローラーの名指しは106サイト中2サイトのみ

調査対象となったサイトのうち、16種類のAIクローラー名のいずれかをrobots.txtに記載していたのは、都道府県46サイト中1サイト、府省庁など国の行政機関40サイト中1サイトの計2サイト（1.9%）でした。政令指定都市の20サイトでは記載が見られませんでした。記載のあった2サイトはいずれも、特定のクローラーに対して全面拒否（Disallow: /）の設定を含んでいました。

ボット別の内訳では、GPTBot、OAI-SearchBot、Bytespiderを全面拒否していたのが各1サイトあり、Amazonbotに対して巡回の間隔（Crawl-delay）のみを指定していたのが1サイトありました。一方で、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extendedなどの12種類については、記載したサイトがありませんでした。

llms.txtの設置は国の行政機関1サイトのみ

AI向けの案内ファイル「llms.txt」について応答のあった103サイトを調べたところ、設置していたのは国の行政機関の1サイト（1.0%）でした。都道府県（46サイト）および政令指定都市（20サイト）での設置は0件でした。残るサイトのうち100サイトは「404（ファイルなし）」、2サイトはエラーページへの転送となっていました。

なお、robots.txtのテキスト自体が返ってきたのは、応答のあった106サイト中61サイト（57.5%）でした。内訳は都道府県が46サイト中28サイト（60.9%）、政令指定都市が20サイト中12サイト（60.0%）、国の行政機関が40サイト中21サイト（52.5%）です。残りの45サイトは404または中身が空のファイルでした。クローラー名が書かれていない場合に適用される「*」（すべてのクローラー）向けに、サイト全体を拒否しているサイトはありませんでした。

一次情報の引用に向けた確認の重要性

同社代表取締役の佐藤 傑氏は、制度や手続きをAIに尋ねる利用者が増えるほど、回答の出典が行政の一次情報である重要性が高まると指摘した上で、「当社は企業のサイトでの実装と計測を続け、AI検索で一次情報がどう引用されるかを調べて公開していきます」とコメントしています。同社は、学習用クローラーを制限する際に検索用クローラーまで除外していないか、また一次情報がAIに伝わる形式になっているかを確認することが重要だという見方を示しています。

調査の概要

• 調査期間：2026年11月2日15時3分〜20分
• 調査対象：全国知事会「都道府県情報」の47都道府県、総務省「指定都市一覧」の20市、e-Govポータル「国の行政機関」の59機関（外局・特別の機関などを含み、同一サイト内の12機関をまとめて計114サイト）
• 取得方法：各サイト直下の /robots.txt と /llms.txt を1サイトずつ取得。アクセス拒否（403）や接続失敗（robots.txtは8サイト、llms.txtは11サイト）は分母から除外
• 留意事項：robots.txtはアクセスを制限する仕組みではなく意思表示であるため、実際の挙動はクローラーの実装による。調査は2026年11月2日時点のもので、サイト直下以外のファイルや別ドメインの特設サイトは対象外

株式会社Uravation 会社概要

• 会社名：株式会社Uravation
• 所在地：東京都文京区本郷6丁目25番14号
• 代表者：代表取締役 佐藤 傑
• 設立：2024年2月
• 事業内容：生成AIの研修・コンサルティング・開発
• URL：https://uravation.com

本記事は株式会社Uravationの発表をもとに作成されています。