パナソニック ホールディングス株式会社とパナソニックR&Dカンパニーオブアメリカは、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者らと共同で、指先の触覚に即応しながら器用な両手作業を行うロボット操作AI「Tactile-Reactive Dexterous Manipulation（T-Rex）」を開発しました。視覚と言語からロボットの動作を生成するVLAモデルに指先の触覚情報を統合し、接触状態の変化に応じて動作をリアルタイムに補正します。実環境で繊細な力の制御や柔らかい物体を扱う12種類の作業で評価した結果、平均成功率65％を達成し、既存手法を30ポイント上回り世界最高性能を達成したとしています（2026年11月5日時点、パナソニックHD調べ）。

本研究成果は、2026年11月9日から12日までアメリカ・オースティンで開催されるロボット学習分野の国際会議Conference on Robot Learning（CoRL）で発表されます。

視覚と言語に触覚を統合しリアルタイム補正を実現

人は薄いカードの引き出しや鍵の操作などの作業で、指先で感じる力や滑り、変形に応じて動きを瞬時に調整しています。従来のVLAモデルは主にカメラ映像に依存しており、触覚を静的な情報として扱うことが多いため、細かな力加減や接触状態の変化が求められる作業への対応が困難でした。また、触覚情報を含む大規模な学習データの不足や、視覚・言語モデルの更新頻度と高速な触覚制御頻度との隔たりも課題でした。

T-Rexは、低頻度で行う「視覚・言語に基づく動作生成」と、指先から得られる触覚に応じた「高速な動作修正」を一つのモデルに統合しています。視覚と言語を処理する動作生成モジュールが約5 Hzで動作の大枠を生成する一方、触覚を処理する動作修正モジュールが約20 Hzでリアルタイムに接触状態を捉え、動作を細かく補正します。これにより、遅延が大きい画像認識を毎回やり直すことなく、接触中の滑りや押し込み過ぎなどに素早く対応することが可能です。

実環境タスクで平均成功率65％を達成

学習にあたり研究チームは、200種類を超える日用品と22種類の基本動作を組み合わせ、7,700件超、計100時間におよぶ両手ロボット操作データを収集しました。各データには頭部・手首カメラの映像、ロボットの状態と動作、10本の指先の触覚センサを通じた力・変形情報、自然言語の指示が同期して記録されています。

T-Rexは、まず22,889時間の人の一人称視点映像から視覚・動作の知識を学習し、次にこの触覚付きデータでロボット固有の接触動作を中間学習した上で、作業ごとに約100件の実演データでファインチューニングを行っています。

ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の実環境タスクで評価した結果、T-Rexの平均成功率は65％を記録しました。比較手法の35％を大きく上回ったほか、触覚情報を除いた場合の平均成功率は42％にとどまり、触覚情報と高速な反応機構の有効性が確認されました。

製造や物流現場での負担軽減を目指す

今後は本技術を活用し、製造現場における部品の挿入・取り外し・ねじ締めや、物流現場での柔軟物・壊れやすい物品の取り扱いなど、細かな力加減や接触状態に応じた調整が必要な作業をロボットが支援することで、現場作業者の負担軽減と労働力不足の緩和に貢献することを目指すとしています。

論文および関連情報

本研究の論文情報や関連リンクは以下の通りです。

• 論文タイトル：T-Rex: Tactile-Reactive Dexterous Manipulation
• arXiv：https://arxiv.org/abs/2606.17055
• プロジェクトリンク：https://tactile-reactive-dexterous.github.io/
• Panasonic×AI ウェブサイト：https://tech-ai.panasonic.com/jp/
• Panasonic×AI X：https://x.com/panasonic_ai

本記事はパナソニック ホールディングス株式会社の発表をもとに作成しました。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。