Dellows News

【日本初】AI検索の効果測定に「何問・いくつのAI・何回」必要かを、10万件の実測データで定量化。ホワイトペーパー「AI検索対策(AIO/LLMO)における『精度』とは」を無料公開(フェアテック)

フェアテック、AI検索対策の効果測定に関する調査白書を公開 10万件超を独自計測

CATEGORY: テクノロジー

AI検索対策ツール「SourcePick AIO」を提供するフェアテック株式会社は、2026年10月22日にホワイトペーパー「AI検索対策(AIO/LLMO)における『精度』とは ー 10万件の独自計測データが示す、AI検索対策の正しい取り組み方」を無料公開しました。

本書は、5つの生成AIで計測した102,510件のAI回答を分析し、AI検索の効果測定における計測量の目安を示しています。同社調べによると、AI検索の計測に必要な量をこの規模の実測データで定量化した公開調査は、国内で初めてだとしています(2026年10月時点、日本語のAI検索を対象とした国内の公開調査・プレスリリースにおいて)。

調査の背景と目的

ChatGPTやGeminiなどの生成AIは、同じ質問に対しても回答ごとに言及される企業や商品が変動する特性があります。そのため、AI検索対策の現場では、計測数値の信頼性や適切な効果測定に必要な質問数・検索頻度について疑問の声が上がっていました。

これに対し、目的別で必要な計測量を大規模な実測データをもとに示した調査がこれまで国内で公開されていなかったことから、同社はこれらの課題に対応するため調査結果をまとめました。

目的別に見る必要な計測量の目安

本調査では、90%信頼区間で±5ポイント以内の精度(90%の確からしさで本当の値が計測値の上下5ポイントに収まる)を得るための目安を、目的別に整理しています。

  • 施策の効果を月単位で確かめる場合:AI2つ以上・50問以上・週1回の計測(毎日の計測なら20問以上)
  • 施策の効果を週単位で確かめる場合:AI2つ以上・30問以上・毎日の計測(週2回の計測なら100問以上)
  • 全体として候補に挙がる割合を知る場合:50問以上、できれば100問程度(AIの数や頻度は影響が少ない)
  • 対策すべき質問を見つける場合:AI2~3つなら6~7回分、AI5つなら4回分の計測

計測データから得られた分析結果

分析によると、同じAIに同じ質問を翌日聞き直した際、ブランド名が出るかどうかの結果は86~91%一致しており、ばらつきの約半分から3分の2は質問内容や利用するAIの種類によって左右されることが分かりました。一方で、同じ日に複数回計測しても情報の増加幅は1日に3回で1.3~1.4倍にとどまり、日を変えることや質問・AIを変更することの方が効果的だとしています。

また、AI側の改良などの変化によって、何もしなくても言及率が3~5ポイント変動するケースも確認されました。さらに、最初の4回の計測で一度も名前が出なかった質問は、AIが5つの場合で94%が次の4回も言及率10%以下のままであったため、対策すべき質問は4回程度の測定で特定できるとしています。質問数を30問から50問に増やしても誤差の減少は約2割にとどまり、誤差を半減させるには質問数を4倍にする必要があるものの、質問数を増やすことは種類を広げて見落としを減らす価値があるとしています。

調査およびホワイトペーパーの概要

  • 計測件数:102,510件
  • 計測対象:30ブランド、642問のプロンプト
  • 計測したAI:ChatGPT、Gemini、Claude、Perplexity、Google AI Overviews(5つ)
  • 計測期間:2026年9月1日~10月2日
  • 調査主体:フェアテック株式会社(SourcePick AIOの計測データ)
  • タイトル:AI検索対策(AIO/LLMO)における「精度」とは ー 10万件の独自計測データが示す、AI検索対策の正しい取り組み方
  • 料金:無料
  • 入手方法:https://fairtech.co.jp/whitepaper/ai-search-accuracy

フェアテック株式会社は、代表取締役の辰巳裕介氏により2024年9月に設立され、東京都千代田区神田小川町3-28-13 ラフィネお茶の水1001に本社を置いています。AIエージェントの開発や、自社がAI検索でどう語られているかを計測するツール「SourcePick AIO」の提供を手掛けています。

本記事はフェアテック株式会社の発表をもとに作成されています。

アクセスランキング

今日

1週間