株式会社Serverless Operationsは、北海道テレビ放送株式会社（HTB）が推進するAIを活用した番組分析システムの内製開発を技術支援しました。本システムは、AIによる番組映像の自動解析や検索に加え、視聴率データとの照合や日次レビュー作成を自動化するものです。従来の手作業に伴う業務負担を軽減し、映像素材の検索効率向上とより詳細な番組分析を可能にしました。

記憶と手作業に頼る映像検索と視聴率分析の課題を解消

HTBではこれまで、オンエア済みの番組映像を活用した企画検証や視聴率分析を行う際、映像素材の検索やデータ照合に多くの時間を費やしていました。シーンごとの視聴率把握が重要である一方、同時録画された映像内を手作業で探す必要があり、映像と視聴率データが別々で管理されていたため関連付けた分析にも多大な負担がかかっていました。

特に過去の映像についてはアーカイブ室のテープを担当者の記憶を頼りに確認していたため、目的の素材を探し出すのに手間を要していました。こうした状況を受け、Serverless Operationsの支援のもと、HTBはAWSと生成AIを活用して番組映像の自動解析から視聴率データとの統合、映像検索までを行う新たなデータ分析基盤を内製開発しました。

新システムでは、自局のオンエア映像をマルチモーダルLLMで自動解析し、視聴率データと統合してAmazon OpenSearch Serviceに蓄積しています。各区間に分単位の視聴率推移を紐付けることでシーンごとの素材検索が可能となり、画面上で映像再生と視聴率推移を同時に確認できる環境を構築しました。現在は朝・夕方の情報番組で日次稼働しています。

これにより、キーワードを入力するだけで過去素材を横断検索してその場でプレビューできるようになり、断片的な言葉や意味の近い表現からも目的のシーンにたどり着けるため担当者以外でも素材を探せる体制が整いました。また、映像と視聴率推移を同一画面で確認できることで、どの話題やシーンで数字が動いたかを直感的に把握できるようになりました。

AWSと生成AIを組み合わせたデータ前処理のアーキテクチャ

システムの核となる前処理（Pre-processing）では、Amazon S3にアップロードされた動画ファイルに対し、AWS Step Functionsで処理を制御しながらAmazon BedrockやGoogle CloudのGeminiを活用して検索可能なデータ形式へ変換しています。

具体的なワークフローとしては、まず「Context Processor」で番組動画を分刻みに分割し、Gemini Pro3を用いてシーンごとの境界、種別、コーナー名、タイトル、要約を抽出するとともに、時間をキーにして視聴率データをマッピングしたJSONを出力します。続いて「Screenshot/Thumbnail Generator」がOpenCVを使ってGeminiで取得した映像情報の中間地点をキャプチャし、Amazon S3へアップロードします。さらに「Vectorizer」で抽出した音声情報とサムネイルをAmazon BedrockのAmazon Titan Embbeting Text V2モデルでベクトル化し、「Insert Data」で加工済みデータをAmazon OpenSearch Serviceに登録します。

LangGraphを用いた検査・修正フローで解析精度とコスト効率を両立

Context Processorでは、生成AIによる映像解析の精度を確保するための仕組みも導入されています。AIの解析ではコーナー時刻のずれや情報の欠落、実映像と異なる内容の生成が生じることがあるため、ルールで判定できる開始・終了時刻の矛盾などはプログラムで自動検証し、要約の妥当性などは生成AIを用いて検証を行っています。

この処理にはLLMワークフローのフレームワークであるLangGraphを採用し、読み込み（Load）から解析（Analysis）、検査（Audit）、修正（Repair）、再検査（Audit）、結果出力（Report）に至る流れを構築しました。検査フェーズで定めた合格基準を満たすまで修正と検査を繰り返す仕組みとし、修正時は問題のある区間のみをキャッシュして再解析することで、処理コストの抑制と精度の両立を図っています。

株式会社Serverless Operations 会社概要

• 会社名：株式会社Serverless Operations
• 所在地：東京都渋谷区千駄ヶ谷3丁目51番10号
• 代表者：堀家隆宏
• 設立：2018年11月26日
• URL：https://serverless.co.jp

本記事は株式会社Serverless Operationsの発表をもとに作成されています。