iKalaは、台湾の実情に即したAI評価ベンチマーク「TMMLU+」の更新版となる「TMMLU+ v1.1」をHugging FaceおよびGitHubで公開した。既存の66分野を再点検し、法律や社会、政策などの変化に対応した設問の更新を行っている。同社は今後、評価の対象を大規模言語モデル（LLM）からAIエージェントやマルチモーダルの領域へと拡大していく方針を示している。

iKalaの共同創業者兼会長である程世嘉（Sega Cheng）は、ソブリンAIを「計算資源」「モデル」「データ」「アプリケーション」の4つの要素に分けて捉えている。Gartnerの予測によると、2030年には生成AIソリューションの90％がドメイン特化型モデル（Domain-Specific Models、DxM）を採用するとされている。こうしたなか、台湾においては世界最先端のモデルを利用することに加え、自らのデータと基準を用いてモデルの適性を判断する力が必要とされている。

台湾発の評価基準「TMMLU+」の開発と更新

2023年に台湾の産官学で基盤モデルの開発が進むなか、iKalaは評価の物差しをつくる取り組みを進めた。前身のTMMLUの6倍の規模となる「TMMLU+ v1」は66科目にわたる22,690問を収録し、研究成果はCOLM 2024で正式に発表された。その後、GoogleやMetaなどの国際的な研究チームによる繁体字中国語モデルの評価にも採用されている。

今回公開されたTMMLU+ v1.1では、時間の経過に伴って見直しが必要となる法律・社会・政策や行政命令に関する設問を更新し、評価の有効性を維持している。

LLMからAIエージェントとマルチモーダル評価へ

iKalaは、評価の対象を大規模言語モデル（LLM）からAIエージェントへと広げている。AIが単に回答できるかだけでなく、意図を理解してツールを正しく使い、テキスト・画像・音声などのマルチモーダル情報を処理してタスクを完遂できるかを検証する。企業が実際の業務フローに適したAIを選択できるよう、意思決定を支援する体制を整える。

iKalaについて

台湾に本社を構えるiKalaは、フォーチュン500に名を連ねる企業をはじめ、190カ国以上の1,000社を超える企業や50,000以上のブランドにAIソリューションなどを提供している。

• iKala 公式サイト：https://ikala.ai
• Kolr 公式サイト：https://kolr.ai
• Kuroma  公式サイト：https://kuroma.ai

本記事はiKalaの発表をもとに作成。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。