Nishika株式会社は、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する「GENIAC」プロジェクトの成果として、日本語の会議要約タスクにおける指示追従性を測る評価ベンチマーク「J-MeetEval」を開発し、GitHubおよびHugging Face上でオープンソースとして公開しました。

3,000〜11,000字の会議文字起こしに対し、「数値は全角で統一」「発言順に並べる」「指定のJSON形式で出力」といった実務的な形式や制約を複数課し、その遵守可否を0/1の二値で採点する仕組みを備えています。

実務に即した形式制約の遵守を二値判定で評価

AI議事録の実務では文章の巧拙よりも指定された形式で出力できるかが重視されますが、従来のLLM評価ベンチマークでは採点の再現性や形式・制約の遵守測定、出題形式の実務適合性に課題がありました。

J-MeetEvalでは判定を0/1の二値に限定し、機械判定可能な指示はルールベースを優先するほか、日本語固有の観点（文体・敬語・全角半角・役職付与など）を含めた制約を出題対象としています。また、長文の会議文字起こしに対して1プロンプトで複数指示を同時に課す設計となっています。

データセットは実会議の文字数分布に合わせて合成された197件の合成会議トランスクリプトと52件の指示定義（延べ408指示）で構成され、入力長は3,000〜11,000字（中央値9,072字）です。採点には既定でgpt-5-miniを使用し、1指示につき3回投票の多数決で判定されます。

汎用スコアとの逆相関や複合指示による性能低下を確認

4B〜9Bクラスの7モデルを評価したところ、汎用ベンチマーク「Nejumi Leaderboard」の総合スコア順位とJ-MeetEvalでの指示達成率の順位はスピアマン順位相関係数 ρ = −0.52の逆相関を示しました。Nejumi総合スコアが最も高いQwen3.5-4B（スコア0.7352）がJ-MeetEvalでは72.1%で最下位となり、汎用性能の高さがそのまま議事録の品質に直結しないことが示されています。

また、日本語固有の課題として、「半角で統一」の達成率が98%（55/56）であるのに対し、「全角で統一」は27%（7/26）にとどまる非対称性がみられました。「決定事項とその根拠となる発言のみを抽出」といった範囲限定指示の達成率は25%（23/91）でした。

さらに、「時系列順に並べる」指示は単体を含む全体で69%（318/460）だったものの、匿名化との組み合わせで29%（4/14）、役職付与との組み合わせで33%（7/21）、JSON出力との組み合わせで36%（5/14）と、複数指示を同時に課すことで達成率が急激に低下する傾向が確認されました。

同社が会議要約向けに開発したモデル「nishika-inc/gemma-3-4b-it-merge」を評価した結果、ベースモデル（google/gemma-3-4b-it）と比べて指示達成率が55.4%（226/408）から74.3%（303/408）へ18.9ポイント向上しました。プロンプト単位達成率も28.9%（57/197）から55.3%（109/197）へと26.4ポイント改善しています。

特に指示数が多いプロンプトでの改善が顕著で、1プロンプトあたり3つ以上の指示（70件）における達成率は5.7%から32.9%に向上しました。これにより、4Bクラスの小型モデルでありながら8Bクラスの汎用モデルと同等以上の指示達成率を達成し、計算資源が限られる条件下でもタスク特化学習によって実用品質に到達しうることが示されました。

評価コードやデータセットを公開

J-MeetEvalは、評価コード、データセット、全スコア、判定根拠のドキュメントを含めて公開されています。会議や議事録用途でLLMの選定を行う企業や、日本語タスク向けモデル開発者の事前検証への利用が想定されています。なお、データセットは合成データであり実際の会議内容は含まれません。

公開リソースおよび関連情報は以下の通りです。

• 評価コード：https://github.com/nishika-inc/jmeeteval
• データセット：https://huggingface.co/datasets/nishika-inc/jmeeteval
• 全モデルのスコア：https://github.com/nishika-inc/jmeeteval/blob/main/docs/results.md
• 指示の相互作用・難易度分析：https://github.com/nishika-inc/jmeeteval/blob/main/docs/instruction_interactions.md
• 16カテゴリ・27指示タイプの定義：https://github.com/nishika-inc/jmeeteval/blob/main/docs/instructions.md
• 技術解説記事：https://zenn.dev/team_nishika/articles/2d346fd1151faa

本記事はNishika株式会社の発表をもとに作成されています。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。