ゴムマリ、RAGの正答率を測る評価データセット作成を提供へ 50万円から
ゴムマリ株式会社（東京都、代表取締役: 村山悠太）は、社内文書を検索して回答する生成AI（RAG）の正答率を業務の場面ごとに測定するサービス「RAGの評価データセット作成」の提供を2026年10月20日より開始します。企業の文書原本から正解つきの質問セットを作成して社内AIの回答を採点し、誤答原因の分類と修正の優先順位を提示する仕組みです。価格は50万円からで、納期の目安は1週間となっています。
正答率の把握を妨げるRAG導入後の課題
株式会社Digeonが全国のビジネスパーソンを対象に実施した調査（※1）によると、RAGを「導入済み」と答えた割合は17.8%にとどまり、導入できていない理由の1位は「どの業務に使えるか分からない」（29.1%）、2位は「技術的知識・人材の不足」（27.5%）でした。導入後においても、どの業務をAIに任せてよく、どこで原本を確認すべきかを判断するには、業務の場面ごとに正答率を測定する必要があります。
従来の精度確認では、担当者が思いついた質問を試して大まかに判断するケースが多く、質問の偏りや判定基準の揺れが生じやすい状況がありました。また、誤答が発生しても文書の不備、検索の取りこぼし、回答時の取り違えといった原因の特定が難しく、設定やモデルを変更した際も以前と同じ質問で比較検証されないため、改善度合いが把握しにくいという課題がありました。
正解つき質問セットを用いた評価の流れ
「RAGの評価データセット作成」は、AIによる処理と人による確認を組み合わせ、以下の4段階で進められます。
- 場面と範囲を決める: 社内AIが受ける質問を業務の場面ごとに分類し、貴社と共に対象文書を決定します。
- 正解つきの質問を作る: 原本を基に場面ごとの質問と正解を下書きし、正解には該当箇所（文書名とページ・条項）を記載します。
- 実際に聞いて採点する: 貴社環境の社内AIに質問を入力し、回答を正答・誤答・出典違いに採点します。
- 原因を分けて、直す順番を出す: 誤答を文書の崩れ、検索の取りこぼし、回答の誤りに分類し、正答率向上に効果的な修正順序をまとめます。
質問セットの設計は、Anthropicが開発者向けドキュメント（※2）で挙げる評価設計の指針に沿い、実際の質問分布の反映や機械採点への対応などを重視して作成されます。利用中の社内AI環境と文書一式を提供する形で実施され、専用システムの導入やAIの追加学習用データの作成は行いません。
評価後の業務変化と今後の展開
本サービスを利用することで、担当者は業務場面ごとの正答率と誤答原因を把握でき、確認作業の効率化や誤答の早期発見が可能になります。質問セットが手元に残るため、モデルや設定を変更した際にも同一条件で精度の比較を行えます。
ゴムマリ株式会社代表取締役の村山悠太氏は、「社内のAIを入れた企業が、任せる業務と直す箇所を、自社の文書に基づく正解で決められるようにしていきます」としています。
同社では、文書やモデル変更後の継続的な測定に対応する月額制の「業務AIエージェント導入」や、文書側に原因がある場合の修正支援として「マニュアルのデータ構造化」「社内ナレッジのAI検索化」などのメニューも展開しています。
「RAGの評価データセット作成」の概要は以下の通りです。
- 対象業務: RAGの評価データセット作成（社内のAI〔RAG・AI検索〕の正答率の評価）
- 提供物: 正解つきの質問のセット、採点結果、誤答原因の分類、直す順番の提案
- 納期: 1週間（目安。着手前に確定）
- 価格: 50万円〜（分量により、着手前に提示）
- サービス詳細URL: https://gomumari.com/spot/rag-hyoka/
提供元の概要は以下の通りです。
- 社名: ゴムマリ株式会社
- 所在地: 東京都
- 代表者: 代表取締役 村山悠太
- 設立: 2025年5月
- 事業内容: AIエージェントの業務実装（FDE型受託・業務単位エージェント導入・AI機能PoC）
- URL: https://gomumari.com/
※1 「RAG（社内データをAIに活用する仕組み）の認知・導入実態に関する調査」（株式会社Digeon、2025年12月16日公開、調査期間2025年12月5日〜8日、N=517・全国のビジネスパーソン、インターネット調査） ※2 Anthropic「Define success criteria and build evaluations」（開発者向けドキュメント）
本記事はゴムマリ株式会社の発表をもとに作成されています。
ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。
