日立は、製造や保守・点検など複雑な作業工程を有する現場向けに、動画から作業手順の区切りと作業内容を自動抽出する映像AI技術を開発した。連続する映像から手の動きや対象物の変化を時系列で捉えて分析することで、見た目が類似した工程のフレーム単位の手順識別精度が従来手法と比べて約73％向上した。現場が持つ簡易的な手順情報を補助的に活用することで、各手順の開始・終了時刻を手動で設定することなく推定が可能となる。

熟練者の作業動画活用における課題

製造や保守・点検などの現場では、技能継承や作業品質の維持・向上が重要な課題となっている。文章による手順書では手元の微細な動きが伝わりにくく、作成者による記述のばらつきや作成負担の大きさが問題視されており、直感的な作業動画の活用が期待されていた。

しかし、従来の映像解析では、隣接する工程で同じ部品や道具が映り続けるため見た目での区別が難しいという技術的な課題が存在した。また、動画を見ながら手順の区切りとなる開始・終了時刻を手作業で設定する場合、作成者の負担が膨大になり、手順書の整備や教育への活用が進まない要因となっていた。

開発された映像AI技術の主な特長

今回開発された技術には、主に以下の3つの特長がある。

• 時間ラベル付けの負担を軽減する作業手順抽出

動画から手の動き、道具、対象物、場所などの情報を抽出して時系列に分析する。現場が保有する作業名や簡易的な手順リストを補助情報として活用することで、人手による詳細なラベル付けを行わずに動画を手順単位に分割し、工程変更時のデータ整備負担を抑制する。

• 類似工程の違いを捉える時間変化分析

連続する複数フレーム単位で、作業者の手や道具がどの対象物に触れ、操作対象がどのように移動・変化したかをAIで分析する。これにより、同じ対象物が映り続ける工程でも作業の進行に伴う時間的特徴を捉え、識別精度を向上させる。

• 手順書作成や知識共有を支援する説明文抽出

動画を手順単位に分割するだけでなく、各区間の作業内容を説明文として抽出する。動画と簡易手順情報を組み合わせることで、非熟練者への教育や知識共有に活用しやすい形へ知識を整理できる。

2つのデータセットを用いた評価結果

技術の有効性は、一般公開されているデータセットおよび独自に構築したデータセットで評価された。

一人称視点の作業動画データセット「EgoYC2」を用いた検証では、開始・終了時刻を含まない順序付き作業説明文を入力とし、厳しい時間一致条件であるIoU 0.8のF1スコアにおいて提案手法は15.13を記録した。これは従来手法DIBS (VLM)の11.23と比べ約35％の向上となる。また、動画説明生成の評価指標CIDErでも、提案手法は19.62となり、従来手法の17.32から約13％向上した。

さらに、医療機器や精密電子機器の組立作業を対象に日立が構築した一人称視点動画データセット「EgoIndAssembly」（総時間約13.6時間、計49,036フレーム、222本の動画）での評価では、フレーム単位の手順識別精度を示すMoF（Mean over Frames）において提案手法が0.435を記録し、従来手法H3の0.251と比べ約73％向上した。

今後の展開と学会発表

日立は今後、協創を通じて本技術の有効性を検証し、複雑な工程を持つ現場への適用領域を拡大する方針である。手順書作成・更新の効率化や技能継承サービスへの展開を目指し、2025年7月3日に発表された次世代AIエージェント「Frontline Coordinator – Naivy」のセンシングデータや分析機能との連携も検討する。また、ITデータとOTナレッジを組み合わせ、Lumada 3.0を実現する技術の一つとして強化を図る。

なお、本成果の一部は2026年6月に米国で開催されたCVPR 2026のワークショップで発表されたほか、2026年9月13日から17日にフィンランドで開催されるICIP 2026でも発表が予定されている。

本記事は株式会社日立製作所の発表をもとに作成。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。