Azure AI Video Indexer で動画分析してみた

今回は、Azure AI Video Indexer というサービスを試してみます。

Azure AI Video Indexerとは

Azure AI Video Indexerは、動画ファイルや音声ファイルを分析してくれる Azure上のサービスです。
動画ファイルを全体を分析して、文字起こし、OCRによる文字抽出、オブジェクト/人物検出、キーワードやトピック話題の抽出など、いろいろな情報を取得できます。
分析された結果は、Video Indexerポータル上で確認でき、各シーンを選択して再生することができます。
分析情報はダウンロードすることもでき、分析されたデータを活用することもできます。

分析後は、Video Indexer ポータルで以下のように表示されます。
※下記は、Video Indexer のサンプルとして用意されているものです。

動画分析を実行する

早速、動画を分析してみます。

Video Indexer リソースを準備する

Azure AI Video Indexer を使用するためには、最初に Azure ポータルから Video Indexer のリソースを作成する必要があります。まだリソースを作成していない場合は、[+作成]をクリックして、リソースを作成します。
※ Video Indexer の試用版を利用する場合は、Azureサブスクリプションは不要となりますが、ここでは有償版を前提に記載しています。

リソースが作成できたら、[Video Indexer ポータル] を開きます（[ポータルの探索] リンクをクリック）。

動画ファイルを分析する

(1) Video Indexer ポータルで、今回使用する Video Indexer リソースを選択します。
　初回起動時は、接続ユーザーの試用版アカウントが選択されているようです。今回は、有償版を使用するためリソースを切り替えます。

(2) [アップロード] ボタンをクリックします。

(3) アップロードするファイルを指定します。
　分析可能な動画ファイルですが、一般的な動画形式はサポートされています。詳細は、以下を参照ください。
　【参考】Azure AI Video Indexer のサポート マトリックスとサービスの制限

(4) [アップロードとインデックス作成] で、アップロードするファイルを確認します。ビデオのソース言語は、動画に合わせて選択してください。分析設定を変更する場合は、[詳細設定] をクリックします。

(5) [インデックス作成プリセット」がデフォルトでは [標準ビデオ + オーディオ] となっています。今回は [詳細ビデオ + オーディオ] に変更します。この分析モードの違いで、1分あたりの課金額が変わってくるため、ご注意ください。
　【参考】Azure AI Video Indexer の価格
一部の機能（「顔識別」「著名人認識機能」等）は、利用が制限されており、チェックができない状態になっています。利用申請が必要で Microsoft が管理するパートナーと顧客のみが利用できるとのことです。

(6) 内容を確認し、[アップロードとインデックス作成] ボタンをクリックします。

ファイルがアップロードされると続けてインデックス作成が始まります。動画のサイズによりますが、時間がかかりますので完了するまで待ちます。完了すると作業者のメールアドレスに完了通知が届きます。

動画の分析結果を確認する

当社の Power Apps ハンズオンセミナーの動画を分析した結果は、以下のようになりました。

画面の右側（青枠部分）に「分析情報」が表示されます。「トピック」や「ラベル」などが検出され、動画中のどの時間帯でその項目が含まれているか示されます。時間軸のそのポイントをクリックすると左側の動画再生部で、動画を再生することができます。

また、動画全体の要約を生成することもできます。自動的には生成されませんが、Azure OpenAIと接続設定が完了していれば、要約を生成することができます。要約文は動画の下部（赤枠部分）に表示されます。
要約のタイプとして、要約の長さ（Shord / Medium / Long）や タイプ（Casual / Neutral / Formal）を指定できます。

右側部分のタブ「タイムライン」を選択すると、動画の文字起こし情報が出力されます。任意の部分を選択すると、動画の該当する箇所が再生されます。文字起こしもそれなりの精度で生成されていますが、正しく認識されないケースもあります。その場合は、[編集]をクリックすることで修正をすることができます。
タイムラインには、既定で文字起こし（トランスクリプト）のみが表示されますが、[表示]の設定を変更することで他の情報もタイムラインに載せることができます。

分析結果を活用してみる

Video Indexer ポータルだけでもいろいろな情報を参照できますが、分析情報を別の用途で利用してみます。今回は文字起こしの情報を使って、動画情報検索ボット的なものを作成してみます。

トランスクリプトデータを取り込む

分析情報は、JSON形式でダウンロードできます。この中に含まれる [transcript] 部分が音声の文字起こし部分となりますので、これを抜き出し Azure AI Searchに取り込みます。

RAGの仕組みを使って、ボットに回答させる

Video Indexer ポータルでもトランスクリプトの検索はできますが、チャットボット＋RAGの仕組みを使用して、動画のシーンを検索してみます。これは、自然言語で検索できる/複数動画を一気に検索できるなどの利点があります。

今回の簡易的な実装は、以下の流れとしています。
(1) ユーザーが自然言語で動画のシーンを検索する質問を入力
(2) ユーザーの質問をもとに Azure AI Searchを検索
(3) Azure AI Search の回答をもとに、Azure OpenAI で適切なシーンと思われる箇所を選択
　※OpenAIの応答は、JSON形式とし「ファイル名」「開始位置」「終了位置」「そのシーンの要約」を返す形にしています。
(4) チャットボットの応答を返す。

「ブラウザを使うシーンを教えて」と質問したところ、ブラウザを操作しようとしているシーンの回答が得られました。
※ここでは、応答データ確認のため、JSON形式をそのまま出力しています。

気になる動画シーンにリンクする

ボットの回答を該当するシーンへのリンクとして応答させて、ユーザーが気になるシーンがあればそれをクリックできるようにします。

以下は、ボットの応答をもとに「問合せ管理アプリ（データテーブル編）」の　9分10秒の箇所を再生位置に指定して開いたイメージです。ここでは再生できるようにしていませんが、このポイントからブラウザのアドレスバーに入力する説明が開始されていました。

この仕組みを活用することで、音声/動画ファイルも自然言語で検索できるドキュメントにすることができます。
今回のような講習動画があったとして、テキストに記載されていない情報を講師が口頭で補足説明した内容も検索対象にできると考えられます。

また、分析情報には、文字起こし情報だけでなく、物体検出や画面に表示されている文字の抽出、話者、感情分析等の様々な情報があります。これらもあわせて検索対象とすることで、検索の幅が広がるかも知れません。

最後に

今回は、Azure AI Video Indexer を試してみました。動画ファイルを分析して結果を表示するだけであれば、Video Indexer ポータルで簡単に確認することができました。分析された情報を活用して、高度な検索の仕組みを構築できれば、動画を閲覧しなくても必要な情報を得ることもできそうであることが分かりました。
今回は文字起こし情報のみを活用した簡単な実用例を紹介しましたが、もし動画解析に興味があったり、もっと高度な検索の仕組みを試してみたいなどありましたら、ぜひお声掛けください。