CACTUS TOKYO、日本語音声入力アプリの公開ベンチマークを公開

株式会社CACTUS TOKYOは、話した日本語がそのまま送れる文章として入力されるかを測る公開ベンチマーク「ja-dictation-bench v1」および研究レポートを公開しました。ビジネスシーンで使う文章131問を合成音声で読み上げ、意味や構造など4つの層で採点を行う仕組みです。問題や期待出力、採点基準（ルーブリック）、問ごとの判定と理由はGitHubで公開されており、音声データはHugging Faceにて承認制で提供されています。

日本語のビジネス文章131問で「送れる文章」への整形精度を評価

音声認識の評価では書き起こしの正確さを測る文字誤り率が指標の一つとされますが、LLMで文章を整える音声入力アプリでは、意味を保ちつつ言いよどみや言い直しを整理できるかも重要となります。本ベンチマークでは、書き起こしから文章の整形までを含む出力を、ビジネスシーンの文章131問（チャット60・記録46・メール13・AIへの指示12）を用いて評価します。

音声はすべて実在の人の声を含まない6声の合成音声を使用しています。採点は、日本語の構造や話し言葉の転記、公用文の書き方に関する資料・既存研究を参考に作成された4層のルーブリック（意味・言いよどみと言い直し・構造・表記、46項目）に基づき、機械の検査と2つのLLMによる二重採点を行い、判定が割れた箇所は人が判定します。

音声入力アプリ4製品の測定結果

2026年11月に、共通の131問の音声（1問1声）と採点基準を用い、音声入力アプリ4製品・5つの設定（各社の有料版、辞書登録なし）で日本語入力の測定が実施されました。測定対象はTypeless、SayonaraType、Aqua Voice、Wispr Flowの4製品です。

総合点（0〜100）の結果は以下の通りです。

Typeless：91.3
SayonaraType：89.7
Aqua Voice：57.8（Avalon 1.5の設定）／58.4（Whisperの設定）
Wispr Flow：57.6

総合点は当社の基準で採点した値であり、意味の保存の基準に違反した問題は0点として131問で平均しています。音声認識の正解率や速度・価格・使い勝手を含む総合評価ではなく、いずれも同社の環境での測定値です。総合点はTypeless、SayonaraTypeの順で、両製品の差（SayonaraType − Typeless）は−1.6点（95%信頼区間：−6.8〜＋3.6点）でした。この評価では差を明確に検出できませんでしたが、両製品の性能が同等であることを示すものではないとしています。全5設定において意味の保存の基準に違反した判定は延べ183件あり、そのうち162件（約89%）に内容語や用語の取り違え・欠落が含まれていました。

評価における留意点と今後の展開

本評価はSayonaraTypeの開発元である株式会社CACTUS TOKYOが実施したものであり、第三者機関による評価ではありません。また、SayonaraTypeのモデルと指示文の選定には評価と同じ131問が使用されているため、未知の問題で評価した場合より同製品の点数が高く出ている可能性があるとしています。SayonaraTypeは版1.3.0で、サーバー側の代替の経路を変更した後の2026年11月4日の測定結果に基づいています。

同社は判定の透明性を確保するため、LLMには製品名を伏せて採点させ、問ごとの判定や人の判定理由をすべて公開して異議を受け付けています。今後は第三者の肉声を加えて合成音声との差を測り直すほか、次回以降の版では自社製品の構成選定に別の問題を使用する予定です。

会社概要

会社名：株式会社CACTUS TOKYO
代表者：代表取締役熊谷渓司
所在地：東京都世田谷区太子堂4-18-15 マガザン三軒茶屋2-3F-3
事業内容：音声入力アプリ SayonaraType の開発・運営
URL：https://sayonaratype.com/ja/

本記事は株式会社CACTUS TOKYOの発表をもとに作成されています。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。