Dellows News

ヘッドウォータースの論文、ICONIP 2026に採択

株式会社ヘッドウォータースが提案する、物語翻訳の一貫性を数値化する評価手法の論文が、国際会議「ICONIP 2026」に採択された。会期は2026年11月23日(月)〜27日(金)で、株式会社ヘッドウォータースの下斗米 貴之が発表する。

物語翻訳の一貫性を数値化

論文は、英語の物語をLLMで日本語に翻訳した結果を対象とする評価手法「CorrIRT(相関パターン項目反応理論)」を提案する。翻訳文で同じ語句がどう使われているかの傾向から評価の物差しを作り、テストの成績評価にも使われる統計手法の項目反応理論で、翻訳方法ごとの一貫性の強さを推定する。

第三者が公開している物語データセット「ConStory-Bench」を用いた検証では、物語全体を与えて翻訳した場合と、1行ずつ翻訳した場合を高い確度で区別できることを確認した。従来の評価指標では測りにくい、行をまたぐ一貫性の差を捉えられることも示した。

検証は英語から日本語への物語テキストを対象とした小規模・統制条件で行われた。人間の評価との一致の確認や、他言語への展開は今後の課題としている。

長文処理で生じる一貫性の課題

株式会社ヘッドウォータースによると、LLMで長い文書を扱うには、全体を分割して処理する必要がある。物語の翻訳では、処理の途中で登場人物の名前や口調が前半と後半で食い違うことがある。従来の評価指標は一文ごとの表現の正しさを見るものが中心で、離れた行をまたぐ一貫性の測定を主眼としていないという。

株式会社ヘッドウォータースの下斗米 貴之が翻訳システムの開発に携わる中で、キャラクター性や世界観の保持が実務上重要だと気づいたことが、研究のきっかけになった。大学の研究者との議論や共同研究を重ね、世界観やキャラクター性を考慮した翻訳、人によって評価が分かれる点に関する研究を、人工知能学会、感性工学会などで発表してきたという。

AIエージェントの品質評価への応用を視野

株式会社ヘッドウォータースは、企業の業務現場にある暗黙知をAIが活用できる構造化データへ変換する独自エンジン「SyncLect Data Intelligence」を2026年3月に発表し、AIエージェントの実業務への本番導入を支援している。

株式会社ヘッドウォータースによると、AIエージェントが業務を担うには、判断基準や前提条件などの業務コンテキストを整備し、長いタスクの途中でも前提が保たれているかを評価することが課題となる。本研究の成果は今後、「SyncLect Data Intelligence」へ段階的に組み込み、AIエージェントの品質を継続的に高めることを目指すとしている。

今後は、評価結果をもとにLLMの出力を自動で改善する仕組みや、翻訳以外のタスクへの適用を研究する。また、業務コンテキストを前提に、多段階の業務で処理の一貫性を評価し、崩れを検知してどの工程まで戻すかを判断する仕組みへの応用も構想段階としている。

論文と学会の概要

論文タイトルは「Structure-Aware Narrative Translation Evaluation with Correlation-Pattern IRT」。著者は下斗米 貴之、竹石 興紀(株式会社ヘッドウォータース)、上條 美和子(相模女子大学)。掲載先はICONIP 2026の論文集(Springer)。

「第33回 ICONIP 2026(International Conference on Neural Information Processing)」は、アジア太平洋ニューラルネットワーク学会(APNNS)が主催する年次国際会議。機械学習、自然言語処理、コンピュータビジョン、認知・計算神経科学などを対象とし、投稿論文は査読を経て採択される。例年、約70の国・地域から1,000件規模の論文投稿があり、2024年は1,301件・67の国・地域から寄せられた。

会期は2026年11月23日(月)〜27日(金)、会場はメルボルン・コンベンション&エキシビションセンター(オーストラリア)。公式サイトは https://www.iconip2026.org/ 。

本記事は株式会社ヘッドウォータースの発表をもとに作成。

アクセスランキング

今日

1週間