製造ラインの監視映像や接客動画をAIに読ませたところ、「一瞬の異常だけ拾えない」「時刻がずれる」という報告が出る。原因の多くはモデルの賢さではなく、動画をどう間引いて渡したかにある。設計の勘所は、フレームの取り方と切り出し範囲の2点だ。
動画理解AIはフレームをどう間引いて読むのか
Geminiの動画理解は、既定で1秒あたり1フレームだけを抜き出して解析します。1秒未満の出来事は、構造的に見落としが起きます。
公式ドキュメントによれば、既定のサンプリングは1 FPS(1秒に1フレーム)です。つまり0.3秒だけ映る部品の脱落や、一瞬の操作ミスは、サンプルの隙間に落ちる可能性があります。公式も、高速な動きは1 FPSでは細部を失うため、動画を遅くするか、粒度の細かい時間分析には高いFPSを使うよう案内しています。
反対に、長い動画では1未満のFPSを設定することが推奨されています。FPSは「見落としの少なさ」と「トークン量」を交換するつまみです。
fpsと切り出し範囲はどう指定するのか
指定はVideoMetadataで行い、fpsは0超〜24以下の数値、開始・終了オフセットは「3.5s」のような秒文字列で渡します。
APIリファレンスでは、fpsは省略時1.0、有効範囲は0.0超〜24.0以下です。startOffsetとendOffsetは秒数にsを付けた文字列(例: "3.5s")で、切り出す区間を指定します。
{
"videoMetadata": {
"startOffset": "120s",
"endOffset": "180s",
"fps": 4
}
}
AI Studio側のドキュメントでは、これらの調整は「静的(static)」処理モードでのみ使えると明記されています。利用する面(Vertex系かAI Studio系か)によってフィールド名の表記が異なるため、実装時は使う側のリファレンスを必ず確認してください。
時間サンプリングはどう決めればよいのか
探したい出来事の最短継続時間を基準にfpsを決め、全体を粗く見てから該当区間だけを高fpsで再解析する二段構えが安全です。
判断基準は次のとおりです。
- 検出したい出来事の最短継続時間を決める(例: 0.5秒)
- その時間に最低2フレーム入る値をfpsの目安にする(0.5秒なら4fps以上)
- 動画全体は低fpsで流し、候補区間を
startOffset/endOffsetで切り出して高fpsで再解析する
コストは概算できます。Vertex系ドキュメントではGemini 3の既定解像度は1フレーム70トークンです。10分(600秒)を1fpsで読ませれば、映像だけで約42,000トークン、4fpsなら約168,000トークンという計算になります(音声分は含まない目安値)。全編を高fpsで読むより、切り出して再解析するほうが安く済みます。
時刻の特定精度はどう確保するのか
時刻を答えさせるときは、プロンプトでMM:SS形式を指定します。1fps以下ならMM:SS、1fps超ならMM:SS.sssが推奨されます。
ドキュメントによると、タイムスタンプ指定は1fps以下でMM:SS、1fps超でMM:SS.sss、1時間を超える場合はH:MM:SS系の形式です。また、1リクエストにつき動画は1本、単一動画の場合は動画パートをテキストより前に置くと結果が安定するとされています。
切り出し再解析では、返ってきた時刻が「元動画の時刻」か「切り出し区間の先頭からの相対時刻」かを必ず検証してください。基準が曖昧なまま運用すると、数秒単位のずれに気づけません。サンプルで確認してから運用に入れるのが安全です。
小さな検証動画で見落とし率を測る手順
検証は2〜3分の動画に既知のイベントを仕込み、fps別に検出率と時刻誤差を比べるだけで足ります。
- 自社の現場動画から2〜3分を選び、0.5秒・2秒・10秒の出来事を正解として記録する
- 0.5・1・4fpsで同じ質問を投げ、検出の有無と答えた時刻を記録する
- 切り出し再解析の時刻が元動画基準で返るかを確認する
この結果から「どの継続時間の出来事なら何fpsが要るか」の表ができれば、本番のfps設計は決まります。画面操作が主題のマルチモーダル設計はマルチモーダルエージェントの画面操作設計、画像側のコスト設計はClaude Vision APIの画像コスト設計も参照してください。導入の伴走が必要ならAI活用の伴走支援で相談できます。
参考
- Video understanding(Google Cloud)
- generate_content リファレンス(VideoMetadata)
- Video understanding(AI Studio)
まとめ
動画理解の見落としは、既定の1fpsと切り出し範囲の設計で大半が説明できます。最短イベントからfpsを逆算し、全体は粗く、候補区間は細かく読む。時刻の基準は検証で確かめる。この3点が基本です。動画解析の設計や検証をご検討の際は、Kuu株式会社へお問い合わせください。
