株式会社トドオナダは、大規模言語モデル（LLM）が質問に対して自身の記憶で答えるか、検索（RAG）に頼るかを測定した調査結果を公開しました。ビューティー領域の84小カテゴリを対象にGPTとClaudeの2モデルで測定したところ、想起集合が安定しているカテゴリほど検索に頼らない逆相関関係が確認されました。

全データは公開サイト「ディギコのチャピりログ」で閲覧可能となっています。

想起集合の安定度とRAG発火率は逆相関

質問文を「〜といえば？」に固定して想起集合の強度帯別にRAG発火率の平均を求めたところ、両モデルとも強度が下がるほど発火率が上がる傾向が示されました。

強度帯ごとのRAG発火率は以下の通りです。

• 盤石：Claude 約6%、GPT 約2%
• 強固：Claude 約7%、GPT 約1%
• 中程度：Claude 約30%、GPT 約8%
• 不安定：Claude 約60%、GPT 約25%

発火を誘発する2つの層とモデルごとの差異

調査では、発火要因として「想起時点」と「質問時点」の2つの層があることが確認されました。想起時点の発火はカテゴリ語の不明や想起集合の不安定さなど想起側の要因によるもので、質問時点の発火は「人気」「おすすめ」など現在の状況の確認を求める語が想起状態とは無関係に検索を誘発するものです。

同一カテゴリ（GPT・鼻・耳毛カッター）で質問文を変えた10試行の測定では、「〜といえば？」で0回だったのに対し、「おすすめの〜」「人気の〜」ではそれぞれ10回検索ツールが呼び出されました。

質問語の影響度にはモデル間で差が見られました。GPTでは「人気の〜」が測定した3カテゴリすべてで10回中10回発火し、「おすすめの〜」は製品ラインナップで答えるカテゴリで発火する一方、食材の種類で答えられるカテゴリでは発火しませんでした。Claudeでは質問語の影響がGPTほど強くなく、想起の安定度による差が質問文にかかわらず残り、確率的に検索を選ぶ傾向がみられました。

検索クエリ生成における想起の役割

検索ツールが呼び出された試行においてLLMが組み立てた検索クエリには、想起集合に含まれるメーカー名や型番が種として含まれていました。RAGは想起の代わりに働くのではなく、想起したものの確認や更新として機能している実態が示されています。

一方で、想起時点で発火するカテゴリでは種となる想起が存在せず、「〜とは」のように語義そのものを調べるクエリが生成されました。

調査方法と留意点

本調査の概要および限界・注記は以下の通りです。

• 調査対象：ビューティー領域 中カテゴリ10・小カテゴリ84（88語から重複を除外）
• 使用モデル：gpt-5.6-luna、claude-sonnet-5（APIが返した実バージョンを記録）
• 測定方法：同社のLLM認知確認ツール「ディギディギ」の測定エンジンを使用し、2026年8月に実施
• 注記：RAG発火率はAPI経由で観測したモデル自体の挙動であり製品の検索動作そのものではない点、各組10試行のため再測定で±2〜3割の変動がある点、発火の機構が事前学習由来か調整由来かは本データから断定していない点などが挙げられています

株式会社トドオナダ 概要

• 所在地：東京都台東区上野7-11-13 弥彦ビル302
• 代表者：代表取締役 松本泰行
• 事業内容：PR Tech（Qlipper / ディギディギの開発・提供）

本記事は株式会社トドオナダの発表をもとに作成。