生成AIの研修やコンサルティングを手掛ける株式会社Uravationは、日経平均株価の構成銘柄225社の公式サイトを対象に、AI向けサイト案内ファイル「llms.txt」の設置状況と「robots.txt」でのAIクローラーの扱いに関する調査を実施した。2026年10月23日に行われた調査によると、llms.txtを設置していたのは応答のあった180社のうち9社（5.0%）にとどまった。また、robots.txtでAIクローラー名を記載していた企業は応答のあった184社のうち9社（4.9%）で、ChatGPTなどの主要なAI検索ボットを全面拒否している企業は存在しなかった。

llms.txtの設置率は5.0%、電気機器や情報通信など計9社

公式サイトの直下にあるllms.txtについて、応答のあった180社を調べたところ、設置していたのは9社（5.0%）だった。残りのうち153社は404（ファイルなし）、18社は別のHTMLページが返る結果となった。

設置が確認された9社の業種内訳（日経平均の業種分類）は、電気機器2社、情報通信2社、精密機器2社、自動車1社、小売業1社、サービス1社となっている。

robots.txtでAIクローラーを指定する企業は4.9%

robots.txtに応答のあった184社のうち、テキスト形式のrobots.txtが返ったのは102社（55.4%）で、82社（44.6%）は設置していなかった（404が64社、別のHTMLページが18社）。

GPTBotやClaudeBotなど16種類のAIクローラー名のいずれかをrobots.txtに記載していたのは9社（4.9%）にとどまった。最も厳しい扱いで分類すると、名指しで許可だけを書いた企業が2社、一部拒否が3社、全面拒否が4社だった。残る175社（95.1%）にはAIクローラーの名前の記載がなく、すべてのクローラー向けの規則が適用されているものの、すべてのクローラーを全面拒否している企業は0社だった。

クローラー別の対応状況では、AI検索に用いられるOAI-SearchBot（ChatGPT検索）の一部拒否が2社、Claude-SearchBot（Claude）とPerplexityBot（Perplexity）の一部拒否が各1社で、全面拒否はいずれも0社だった。利用者の操作によって動くChatGPT-User、Claude-User、Perplexity-Userについても全面拒否は0社となっている。

一方、学習用クローラーでは、GPTBot（OpenAI）に対して全面拒否が1社、名指しで許可が4社だった。ClaudeBot（Anthropic）、Google-Extended（Google）、CCBot（Common Crawl）に対しては各全面拒否1社、一部拒否1社が確認された。その他のクローラーでは、Bytespiderの全面拒否が3社、Amazonbotとmeta-externalagentの全面拒否が各2社となっている。

調査の概要と条件

本調査は、2026年10月23日時点における日経平均株価の構成銘柄225社（日経平均プロフィル「構成銘柄一覧」の同日更新分）を対象に実施された。各社の公式サイト直下にある /robots.txt および /llms.txt をプログラムにより1社ずつ取得した。

アクセス拒否や一時的な応答不能、接続不可、時間切れとなった企業は分母から除外されており、取得できなかった企業はrobots.txtで41社、llms.txtで45社あった。また、調査対象の公式サイトは1社につき1サイトに限定されており、別ドメインの製品サイトや直下以外の階層は含まれていない。なお、企業ごとの詳細な結果は公表されていない。

株式会社Uravationの代表取締役である佐藤 傑は、「大企業の公式サイトの9割以上は、まだどちらの判断もしていない状態でした」としたうえで、クローラーを止める場合は検索用まで止めていないかを確認し、通す場合はAIが自社情報を誤解しないよう整備することが重要であると言及している。

会社概要

• 会社名: 株式会社Uravation
• 所在地: 東京都文京区本郷6丁目25番14号
• 代表者: 代表取締役 佐藤 傑
• 設立: 2024年2月
• 事業内容: 生成AIの研修・コンサルティング・開発
• URL: https://uravation.com

本記事は株式会社Uravationの発表をもとに作成されています。