Dellows News

ムクイルが多言語FAQチャットボットのPoCを実施 言語間精度差の縮小を検証

株式会社ムクイルは、海外展開する通販事業の顧客に向けて、多言語対応のFAQ・問い合わせ対応チャットボットの概念実証(PoC)を実施した。同じ質問内容でも言語によって回答精度に差が出る「クロスリンガルギャップ」と呼ばれる現象を確認し、原因究明と対策を行った。

多言語対応で生じる「クロスリンガルギャップ」の課題

クロスリンガルギャップとは、大規模言語モデル(LLM)において言語ごとに同じ質問への回答精度が変わってしまう現象であり、AI研究の分野でも指摘されている課題となっている。

今回のPoCでは、社内のFAQやマニュアルなどのナレッジベースをもとに検証が行われた。その結果、日本語での問い合わせには高い精度で回答できる一方、英語や他言語での問い合わせでは参照すべき情報を正しく検索できず、精度が落ちるケースが確認された。

精度低下の要因と施された対策

原因の切り分けにより、主に2点の要因が特定された。

1点目は「ナレッジベースの言語的な偏り」で、検索対象のFAQやマニュアル文書の多くが日本語で作成されていたため、他言語で質問された際に意味的に近い日本語文書を正しく検索するクロスランガル検索ができていなかった。2点目は「検索精度が言語ごとに異なる埋め込みモデルの利用」で、日本語の意味表現には強いものの、他言語では検索精度が落ちる特性を持つモデルが使用されていた。

これに対し、多言語対応の埋め込みモデルへの切り替えを実施したほか、検索クエリを一度共通の中間表現に正規化してから検索する仕組みを導入し、言語間の回答精度差を縮小させた。

検証を通じて得られた効果

対策の導入により、日本語以外の言語で問い合わせた場合でも日本語と同等に近い精度でFAQへの回答が得られるようになった。また、表面的な多言語対応にとどまらず言語間で実際の回答品質を揃える設計とし、ナレッジベースの多言語整備にかかるコストを抑えながら検索側の工夫で精度差を縮小したとしている。

本事例の詳細は、同社コーポレートサイトの事例ページ( https://www.mukuil.com/case/multilingual-rag-case-ecommerce/ )に掲載されている。

株式会社ムクイル 会社概要

  • 会社名:株式会社ムクイル
  • 代表者:入江 龍雅(いりえ りゅうが)
  • 所在地:東京都墨田区太平3丁目11-10 NTKオオノビル6F
  • 事業内容:AI・DX導入コンサルティング、AI・システム開発支援、デジタルマーケティング支援
  • 会社ホームページ:https://www.mukuil.com

本記事は株式会社ムクイルの発表をもとに作成されています。

アクセスランキング

今日

1週間