パナソニック ホールディングス株式会社とパナソニックR&Dカンパニーオブアメリカは、カリフォルニア大学ロサンゼルス校の研究者らと共同で、スマートフォンなどのモバイル端末上の業務をAIが先を予測しながら支援する世界モデルを開発した。あわせて、約140万件の学習データセットMobileWorldとその性能を評価するベンチマークMobileWorldBenchを構築し、AIエージェントのモバイル端末操作の成功率を向上させることに成功した。本研究成果は、2026年10月24日から10月29日までハンガリー・ブダペストで開催される自然言語処理分野のトップカンファレンスEMNLP 2026で発表される。

開発の背景と従来手法の課題

生成AIの進展に伴い、製造・物流・保守などの現場では、人に代わってスマートフォンやタブレット上の操作を支援・実行するAIエージェントの活用が期待されている。

一方で、画面を画像として予測する従来の世界モデルの方式では、時刻、通知、画面レイアウトなど操作に関係ない情報も再現する必要があり、予測が難しい場合があった。そのため、画面をピクセル単位で予測するのではなく、操作によって生じる重要な状態変化を予測し、次の操作選択に活用する新たな世界モデルが求められていた。

自然言語で画面変化を予測する新アプローチ

今回開発された技術は、操作後の画面を画像で再現するのではなく、「ボタンを押すと設定画面が開く」「入力欄が表示される」といった操作に関する変化を自然言語で予測する。

これにより、時刻、通知、画面レイアウトなど操作に関係のない情報に左右されずに、AIエージェントは複数の操作候補について予測した状態変化を評価し、目標達成につながる操作を選択できるようになる。

約140万件のデータセット構築と検証結果

研究グループは、Android端末での人間の操作軌跡をもとに、操作内容、操作前後の画面、画面変化の説明、次状態に関する質問・回答などを収録したデータセットMobileWorldを構築した。画面変化を説明するデータ約94.2万件と、質問・回答データ約54.3万件を含んでおり、視覚言語モデルを用いてデータを生成・自動選別し、一部のデータは人手でも検証されている。

このMobileWorldを用いて追加学習したQwen3-VL-8B-InstructをMobileWorldBenchで評価し、予測文を正確さ・完全さ・関連性の観点で採点した結果、既存手法と比較して最も高いスコアを獲得した。さらに、本世界モデルをAIエージェントに組み込んでAndroidWorldで評価したところ、世界モデルを組み込まないベースライン手法のタスク成功率が46.9％だったのに対し、組み込んだ場合の成功率は54.3％と大きな性能向上を達成した。

今後の応用と研究体制

本技術について、設備管理、部品在庫、作業記録など複数のアプリケーションを横断する業務に応用することで、熟練者の知識や判断を生かしたAIエージェントによる現場の業務負担の軽減を目指す。今後はスマートフォンに加え、ウェブサイトやPCアプリケーションへの適用可能性も検証し、社内の幅広い業務を支援するAI技術として研究開発を進める方針だ。

本研究は、パナソニックR&DカンパニーオブアメリカのKonstantinos Kallidromitis、加藤 祐介、パナソニック ホールディングス株式会社の小塚 和紀、カリフォルニア大学ロサンゼルス校のShufan Liらによる共同研究として実施された。論文タイトルは「MobileWorldBench: Towards Semantic World Modeling For Mobile Agents」となっている。

本記事はパナソニック ホールディングス株式会社の発表をもとに作成。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。