Dellows News

日立が動作映像のみから改善文を生成するAIコーチング技術AIDEを開発

日立は、熟練者の模範動作をAIの学習に生かし、利用時には学習者の動作映像のみから改善アドバイス文を生成するAIコーチング技術「AIDE(Automated Instruction via Distilled Expertise, エイド)」を開発した。

本技術は、国立研究開発法人科学技術振興機構(JST)経済安全保障重要技術育成プログラム(K Program)で、日立が参画する研究開発課題「BioSkillDX:ライフサイエンス実験作業の暗黙知獲得と作業支援」(研究代表機関:東京大学)において、日立が担う「個々の技能レベルに合わせた最適な作業支援・フィードバック」の第一段階の成果となる。

開発の背景と従来手法の課題

製造、建設、保守、ライフサイエンス実験などの現場では、熟練者の減少に伴う技能継承と人財育成の効率化が課題となっている。動作の改善点を言葉で伝えることは難しく、熟練指導者の経験に依存しやすいため、指導品質のばらつきや教育負担の増大につながっていた。

フィードバックを実現する従来構成では、熟練者の模範動作との比較に基づいて動作の改善点を言葉で示す方法がある。しかし、利用時に適切な模範動作を準備して学習者ごとに対応付ける必要があり、現場での継続的な活用における負担となっていた。

2段階学習で利用時の模範動作を不要にする技術

AIDEは、模範動作の準備と対応付けを不要にするため、2段階の学習構成を採用している。まず学習者と熟練者の動作のペアから改善アドバイスを生成する教師AIを学習し、その知識を引き継ぐ形で、学習者の動作のみから改善アドバイスを生成する生徒AIを学習させる。

対象とする作業の模範動作と指導者のアドバイス文は学習時にのみ用い、利用時には学習者の動作映像のみを入力とする。学習済みの作業であれば新たな学習者の動作映像からアドバイスを生成できるため、指導者が不足する現場でも適用しやすく、運用負担の軽減が期待される。

さらに、人の動作映像から抽出した骨格の時系列データをもとに、動作全体へのアドバイスと改善が必要な部位、良くできている部位を文章で自動生成する。定型文の選択ではなく部位別の改善点を文章で示すことで、学習者は次に意識すべき点を把握しやすくなり、個々の習熟度に応じた支援につながることが見込まれる。

公開データセットでの効果検証と国際会議での採択

本技術の有効性は、スポーツ動作の公開データセット「ExpertAF」を用いて検証された。指導者の解説に基づく改善アドバイス文にどれだけ近い文を生成できるかを評価したところ、利用時にも模範動作を用いる従来構成と同等水準の品質で改善アドバイス文を生成できることが確認された。

成果に関する論文「AIDE: Automated Instruction via Distilled Expertise for Reference-Free Motor Skill Coaching」は、マルチメディア分野の国際会議ACM Multimedia 2026に口頭発表として採択されており、2026年11月10日から14日に開催される同会議で発表される予定だ。なお、本研究はJST経済安全保障重要技術育成プログラム【JPMJKP25V1】の支援を受けて実施された。

今後の展開と他分野への適用検討

日立は今後、研究開発課題「BioSkillDX:ライフサイエンス実験作業の暗黙知獲得と作業支援」において、ライフサイエンス分野の実験技能の継承と作業支援に向けた研究開発を産学連携で推進する。さらに、熟練者の知識をAIの学習に取り込む技能継承支援について、製造、建設、保守などの分野でも実証実験(PoC)を含む適用可能性の検討を進め、段階的な展開をめざす。

また、既存の現場拡張メタバースや次世代AIエージェント「Frontline Coordinator – Naivy」の取り組みに加え、本技術をLumada 3.0を支える技術として発展させる。作業手順書生成技術と本技術を組み合わせることで、手順の提示から個別の改善指導までを一体で支援することなどを視野に入れている。

本記事は日立の発表をもとに作成。

アクセスランキング

今日

1週間