Dellows News

Z Creative Partners、生成AI計測ツールを比べる7つの質問を公開

株式会社Z Creative Partnersは、GEO/AIO/LLMO計測ツールを比較する「7つの質問」を公開した。総合コンサルティング業界の中途採用を題材に、ChatGPTとGeminiの実画面から76,000回答を取得。代表質問へのChatGPTの100回答では、候補に挙がった匿名化した5社の組み合わせが11通りあった。

調査の概要と代表質問の結果

調査期間は2026年11月2~13日。中途転職に関する380問をChatGPTとGeminiの実画面で各100回測定し、計76,000回答を取得した。出現率などの数値は、代表質問「総合コンサルに中途で転職するなら、どのファームがおすすめ?」に対するChatGPTの100回答に基づく。転職先の候補として挙がった場合を「出現」とし、5社の名称は匿名化した。

| 企業 | 出現率 | 95%信頼区間 | 1回で未出現となる計算値 | 2回の判定差の計算値 | |—|—:|—:|—:|—:| | A社 | 95% | 91~99% | 5% | 10% | | B社 | 84% | 77~91% | 16% | 27% | | C社 | 58% | 48~68% | 42% | 49% | | D社 | 33% | 24~42% | 67% | 44% | | E社 | 9% | 3~15% | 91% | 16% |

出現率は100回答の集計値で、95%信頼区間は正規近似による概算。出現率をpとして、未出現は1−p、2回の判定差は2p(1−p)で計算した。2回の判定差は同じ出現率で独立した2回を仮定した値で、再計測の実績ではない。

D社は100回答のうち33回で候補に挙がった。この出現率では、1回で「出現なし」となる確率は67%。C社とD社で単発計測2回の判定が異なる確率は、それぞれ49%、44%となる。

計測ツールを比較する7つの質問

株式会社Z Creative Partnersが示した質問は次の通り。

  1. 同じ質問を何回測り、結果のばらつきをどう示すか
  2. 回答をAPIと実画面のどちらから取得し、どの条件を記録するか
  3. 質問は誰のどの検討場面を代表し、どう選んだか
  4. 名前が出たこと以外に、どう語られたかを評価できるか
  5. 判定の根拠を元の回答と参照情報まで確認できるか
  6. 施策後の変化と、回答の自然な揺れをどう区別するか
  7. GA4の流入以外に、事業上の成果をどう確認するか

株式会社Z Creative Partnersによると、GA4で把握できるのは、識別できるAIアシスタントからサイトへの訪問。回答を読んだ後に別の経路で検索・応募した行動は、その訪問数に表れないという。ツール選定では質問設計、取得条件、回答の文脈も確認する必要があるとしている。

株式会社Z Creative Partnersは、各社に同じ7問を送り、試行回数、質問一覧、取得条件、判定ルール、元の回答を比較するよう提案している。この質問は、株式会社Z Creative Partnersの「Z-GEO™」を含むどの計測サービスにも適用できるとしている。料金については、月額に含まれる「質問数 × 同じ質問の試行回数 × 対象AI数 × 更新回数」、回答原文の保存、判定の検証、人による分析・改善提案の有無まで確認するよう呼びかけている。

株式会社Z Creative Partnersのコメント

代表取締役の趙 佳偉は、生成AIが顧客の比較・選択に関わる中で、ブランドが「どの問いへの答えとして、なぜ選ばれるか」は企業の経営課題だと述べた。また、経営判断に使うデータには、繰り返し測って傾向を確かめられる信頼性と、元の回答や判定根拠まで遡れる信憑性が欠かせないとの考えを示した。その品質を支えるのは、計測の仕組みだけではなく、問いを設計し、回答を検証し、事業の文脈で読み解く組織と人材の専門性だとした。技術と専門家の判断を重ね、業界を横断して評価と改善の知見を蓄積し、国や言語を越えて企業の価値と顧客のニーズをつなぐブランド評価インフラを築いていくとしている。

会社概要

株式会社Z Creative Partnersは、生成AIの回答に表れるブランドの理解・評価・推奨状況を分析する「Z-GEO™」を国内外で提供している。

  • 代表者:代表取締役 趙 佳偉
  • 設立:2025年10月28日
  • 資本金・資本準備金合計:5,800万円(資本金3,300万円、資本準備金2,500万円)
  • 所在地:東京都港区六本木3丁目16番12号 六本木KSビル5F
  • 公式サイト:https://z-creative-partners.com/

本調査は株式会社Z Creative Partnersが設定した質問に対する期間中の観測で、実際の利用者の質問・会話の分布を示すものではない。結果は質問文、取得条件やAIサービスの更新等によって変動し、将来の表示・推奨や事業成果を保証しない。

本記事は株式会社Z Creative Partnersの発表をもとに作成。

アクセスランキング

今日

1週間