約 3 分で読めます

動画理解の見落としを減らす時間サンプリング設計

製造ラインの監視映像や接客動画をAIに読ませたところ、「一瞬の異常だけ拾えない」「時刻がずれる」という報告が出る。原因の多くはモデルの賢さではなく、動画をどう間引いて渡したかにある。設計の勘所は、フレームの取り方と切り出し範囲の2点だ。

動画理解AIはフレームをどう間引いて読むのか

Geminiの動画理解は、既定で1秒あたり1フレームだけを抜き出して解析します。1秒未満の出来事は、構造的に見落としが起きます。

公式ドキュメントによれば、既定のサンプリングは1 FPS(1秒に1フレーム)です。つまり0.3秒だけ映る部品の脱落や、一瞬の操作ミスは、サンプルの隙間に落ちる可能性があります。公式も、高速な動きは1 FPSでは細部を失うため、動画を遅くするか、粒度の細かい時間分析には高いFPSを使うよう案内しています。

反対に、長い動画では1未満のFPSを設定することが推奨されています。FPSは「見落としの少なさ」と「トークン量」を交換するつまみです。

fpsと切り出し範囲はどう指定するのか

指定はVideoMetadataで行い、fpsは0超〜24以下の数値、開始・終了オフセットは「3.5s」のような秒文字列で渡します。

APIリファレンスでは、fpsは省略時1.0、有効範囲は0.0超〜24.0以下です。startOffsetとendOffsetは秒数にsを付けた文字列(例: "3.5s")で、切り出す区間を指定します。

{
  "videoMetadata": {
    "startOffset": "120s",
    "endOffset": "180s",
    "fps": 4
  }
}

AI Studio側のドキュメントでは、これらの調整は「静的(static)」処理モードでのみ使えると明記されています。利用する面(Vertex系かAI Studio系か)によってフィールド名の表記が異なるため、実装時は使う側のリファレンスを必ず確認してください。

時間サンプリングはどう決めればよいのか

探したい出来事の最短継続時間を基準にfpsを決め、全体を粗く見てから該当区間だけを高fpsで再解析する二段構えが安全です。

判断基準は次のとおりです。

  1. 検出したい出来事の最短継続時間を決める(例: 0.5秒)
  2. その時間に最低2フレーム入る値をfpsの目安にする(0.5秒なら4fps以上)
  3. 動画全体は低fpsで流し、候補区間をstartOffset/endOffsetで切り出して高fpsで再解析する

コストは概算できます。Vertex系ドキュメントではGemini 3の既定解像度は1フレーム70トークンです。10分(600秒)を1fpsで読ませれば、映像だけで約42,000トークン、4fpsなら約168,000トークンという計算になります(音声分は含まない目安値)。全編を高fpsで読むより、切り出して再解析するほうが安く済みます。

時刻の特定精度はどう確保するのか

時刻を答えさせるときは、プロンプトでMM:SS形式を指定します。1fps以下ならMM:SS、1fps超ならMM:SS.sssが推奨されます。

ドキュメントによると、タイムスタンプ指定は1fps以下でMM:SS、1fps超でMM:SS.sss、1時間を超える場合はH:MM:SS系の形式です。また、1リクエストにつき動画は1本、単一動画の場合は動画パートをテキストより前に置くと結果が安定するとされています。

切り出し再解析では、返ってきた時刻が「元動画の時刻」か「切り出し区間の先頭からの相対時刻」かを必ず検証してください。基準が曖昧なまま運用すると、数秒単位のずれに気づけません。サンプルで確認してから運用に入れるのが安全です。

小さな検証動画で見落とし率を測る手順

検証は2〜3分の動画に既知のイベントを仕込み、fps別に検出率と時刻誤差を比べるだけで足ります。

  1. 自社の現場動画から2〜3分を選び、0.5秒・2秒・10秒の出来事を正解として記録する
  2. 0.5・1・4fpsで同じ質問を投げ、検出の有無と答えた時刻を記録する
  3. 切り出し再解析の時刻が元動画基準で返るかを確認する

この結果から「どの継続時間の出来事なら何fpsが要るか」の表ができれば、本番のfps設計は決まります。画面操作が主題のマルチモーダル設計はマルチモーダルエージェントの画面操作設計、画像側のコスト設計はClaude Vision APIの画像コスト設計も参照してください。導入の伴走が必要ならAI活用の伴走支援で相談できます。

参考

まとめ

動画理解の見落としは、既定の1fpsと切り出し範囲の設計で大半が説明できます。最短イベントからfpsを逆算し、全体は粗く、候補区間は細かく読む。時刻の基準は検証で確かめる。この3点が基本です。動画解析の設計や検証をご検討の際は、Kuu株式会社へお問い合わせください。

関連記事

Fast mode廃止期限と429フォールバックの設計Claudeの並列ツール呼び出し、結果の返し方と実行設計Claude構造化出力の失敗設計と再試行の実装Claude Task Budgets設計——エージェントの費用上限