株式会社トドオナダは、LLM認知計測ツール「ディギディギ」を使用し、Claude Sonnet 5とClaude Sonnet 5.5を対象とした美容・パーソナルケア領域84カテゴリにおける想起集合の変化に関する調査結果を発表しました。学習データの差が約5か月分にとどまるマイナーアップデートであっても、想起集合の入れ替わり率が平均70.4%に達することが確認されました。調査内容は同社が運営するディギコのチャピりログ（https://chappyru.qlipper.jp）で公開されています。

美容・パーソナルケア領域84カテゴリで想起集合の約7割が変動

調査では、Claude Sonnet 5（学習データ：2026年1月まで）とClaude Sonnet 5.5（学習データ：2026年6月まで）を比較対象としました。各カテゴリについて「〇〇といえば？」という同一形式のプロンプトを各モデルに10回ずつ投げかけ、挙がった名前を集計するとともに、検索ツールを使ったかどうか（RAG発火）も記録しています。

調査の結果、84カテゴリにおける想起集合の入れ替わり率は平均70.4%（中央値70.8%）となりました。延べ486の名前が想起集合から消え、471の名前が新たに入っており、1位が交代したカテゴリは41に上っています。

入れ替わり率の内訳は以下の通りです。

• 80%以上：33カテゴリ
• 60〜80%：26カテゴリ
• 40〜60%：19カテゴリ
• 20〜40%：5カテゴリ
• 20%未満：1カテゴリ

過半数が入れ替わったカテゴリは69に達した一方、入れ替わりが2割未満にとどまったのはネイル道具・ケアツールの1カテゴリのみでした。

想起の安定度が変わらなくても中身は別物に変化

10回中の出現の安定度で分類した「強度」が前回と同じ帯にとどまったカテゴリは42ありましたが、それらのカテゴリでも入れ替わり率は平均65%に達していました。最上位の「盤石」帯は46カテゴリから26カテゴリへ減少しています。

強度の推移は以下の通りです。

• 盤石：Claude Sonnet 5の46カテゴリから、Claude Sonnet 5.5では26カテゴリへ減少
• 強固：18カテゴリから39カテゴリへ増加
• 中程度：18カテゴリから17カテゴリへ減少
• 不安定：2カテゴリから2カテゴリで維持

回答時のウェブ検索依存度が低下

回答時に検索を行ったカテゴリは30から13に減少し、検索が発生した試行数も840回中105回から63回へと減少しました。21カテゴリで検索が発生しなくなった一方、新たに検索するようになったのは4カテゴリのみでした。検索で補われない分、学習時点で想起集合に入っていたかどうかがそのまま回答に反映される結果となっています。

1位が交代した事例と今後の展望

カテゴリごとの結果では、以下のような1位の交代が確認されました。

• カミソリ替刃：ジレットからシックへ交代
• デオドラント・制汗剤：デオナチュレからBanへ交代
• 育毛・養毛・増毛：アデランスからリアップへ交代
• 頭皮トリートメント：ヘッドスパからスカルプDへ交代
• 練り香水：ロクシタンからSHIROへ交代
• ボディミスト：ヴィクトリアズシークレットからサボンへ交代
• ヘアマスク：モロッカンオイルからケラスターゼへ交代

一方で、シャンプー・コンディショナー（1位パンテーン、入れ替わり33%）やアロマオイル（1位ラベンダー、同33%）のように上位が維持されたカテゴリもあり、変化の大きさには差が見られました。

株式会社トドオナダは、想起集合はモデルのバージョンごとに測り直す必要のある指標であるとし、今後もモデル更新のたびに同一条件での測定を重ねて変化を公開していくとしています。

調査の注記

• 入れ替わり率は名前の表記ベースで算出されています。「スクラブ」と「ボディスクラブ」のような部分一致（43カテゴリ・113組）をすべて同一とみなした場合、平均は54.2%、分布は80%以上15・60〜80%31・40〜60%22・20〜40%9・20%未満4となり、過半数が入れ替わったカテゴリは60でした。
• 各カテゴリ10回のサンプリングに基づく集計であり、順位の細かな差には誤差が含まれます。
• 各モデルの学習データ期間は、Anthropic社公式ドキュメント（https://platform.claude.com/docs/en/models/）に基づきます。

本記事は株式会社トドオナダの発表をもとに作成されています。