株式会社トドオナダは、大規模言語モデル（LLM）が特定カテゴリに対して何を思い浮かべるかを可視化するWebサイト「ディギコのチャピりログ」（https://chappyru.qlipper.jp）を公開しました。

同サイトはビューティー領域の84小カテゴリを対象に、LLMの「想起集合」を誰でも閲覧できる形で提供します。測定基盤には同社が提供するLLM認知確認ツール「ディギディギ」が用いられています。

同サイトでは、カテゴリページや商品ページ、解説、仕様ページが用意されています。

カテゴリページでは、「{カテゴリ}といえば？」という質問を10回投げた際に何が何回・何位で現れたかを示す「想起集合」や、その安定度を盤石、強固、中程度、不安定の4段階で表す「強度」を表示します。また、記憶で答えずに検索ツールを呼び出そうとした回数を示す「RAG発火率」や、GPTおよびClaudeのモデル別比較も確認できます。

商品ページでは想起された対象ごとの説明文と参考商品を掲載するほか、キャラクター「ディギコ」による各カテゴリの想起の特徴についての短い解説や、測定方法、指標の定義、対象カテゴリ一覧の仕様ページも公開されています。

測定手法と指標の考え方

測定における質問文は、「おすすめ」「人気」といった検索を誘発しやすい語を避け、純粋な想起を引くため「{カテゴリ}といえば？」に固定されています。

想起集合は事前学習で決まりモデル更新まで動かないため、各モデルの更新ごとにAPIが返した実バージョンを記録して世代別に保存します。なお、RAG発火率は実際には実行されない検索ツールの定義を与えた上でLLMが検索を呼び出そうとしたかを数えたものであり、ChatGPTなどの製品における実際の検索動作そのものではないとしています。

今後の展開と関連ツール

「ディギコのチャピりログ」はカテゴリ単位の公開記録であり、個別ブランドの測定や任意カテゴリの追加には対応していません。自社ブランドが想起集合に含まれているかや競合との想起シェア、ハルシネーションの有無の確認には、同じ測定基盤を用いた月額10,000円（PR効果測定ツール「Qlipper」利用者は無料）のツール「ディギディギ」が提供されています。

今後はカテゴリ領域の拡張や、各モデルの更新に合わせた再測定および世代別記録の公開、ディギディギへの「おすすめ」「人気」といった質問文を切り替えたRAG発火測定の実装が予定されています。

会社概要

• 社名：株式会社トドオナダ
• 所在地：東京都台東区上野7-11-13 弥彦ビル302
• 代表者：代表取締役 松本泰行
• 事業内容：PR Tech（Qlipper / ディギディギの開発・提供）
• 加盟団体：公益社団法人日本パブリックリレーションズ協会 会員

本記事は株式会社トドオナダの発表をもとに作成しました。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。