# 動画理解の見落としを減らす時間サンプリング設計

> 動画理解AIの見落としは、既定1fpsのフレーム間引きと切り出し範囲の設計で減らせます。fps指定は0超〜24以下。中小企業向けに検証手順を整理します。

- Canonical: https://kuucorp.com/blog/gemini-video-temporal-sampling-clipping-design/
- Date: 2026-11-13
- Last modified: 2026-11-13
- Publisher: Kuu株式会社 (https://kuucorp.com)

---
製造ラインの監視映像や接客動画をAIに読ませたところ、「一瞬の異常だけ拾えない」「時刻がずれる」という報告が出る。原因の多くはモデルの賢さではなく、動画をどう間引いて渡したかにある。設計の勘所は、フレームの取り方と切り出し範囲の2点だ。

## 動画理解AIはフレームをどう間引いて読むのか

> Geminiの動画理解は、既定で1秒あたり1フレームだけを抜き出して解析します。1秒未満の出来事は、構造的に見落としが起きます。

公式ドキュメントによれば、既定のサンプリングは1 FPS（1秒に1フレーム）です。つまり0.3秒だけ映る部品の脱落や、一瞬の操作ミスは、サンプルの隙間に落ちる可能性があります。公式も、高速な動きは1 FPSでは細部を失うため、動画を遅くするか、粒度の細かい時間分析には高いFPSを使うよう案内しています。

反対に、長い動画では1未満のFPSを設定することが推奨されています。FPSは「見落としの少なさ」と「トークン量」を交換するつまみです。

## fpsと切り出し範囲はどう指定するのか

> 指定はVideoMetadataで行い、fpsは0超〜24以下の数値、開始・終了オフセットは「3.5s」のような秒文字列で渡します。

APIリファレンスでは、`fps`は省略時1.0、有効範囲は0.0超〜24.0以下です。`startOffset`と`endOffset`は秒数に`s`を付けた文字列（例: `"3.5s"`）で、切り出す区間を指定します。

```json
{
  "videoMetadata": {
    "startOffset": "120s",
    "endOffset": "180s",
    "fps": 4
  }
}
```

AI Studio側のドキュメントでは、これらの調整は「静的（static）」処理モードでのみ使えると明記されています。利用する面（Vertex系かAI Studio系か）によってフィールド名の表記が異なるため、実装時は使う側のリファレンスを必ず確認してください。

## 時間サンプリングはどう決めればよいのか

> 探したい出来事の最短継続時間を基準にfpsを決め、全体を粗く見てから該当区間だけを高fpsで再解析する二段構えが安全です。

判断基準は次のとおりです。

1. 検出したい出来事の最短継続時間を決める（例: 0.5秒）
2. その時間に最低2フレーム入る値をfpsの目安にする（0.5秒なら4fps以上）
3. 動画全体は低fpsで流し、候補区間を`startOffset`/`endOffset`で切り出して高fpsで再解析する

コストは概算できます。Vertex系ドキュメントではGemini 3の既定解像度は1フレーム70トークンです。10分（600秒）を1fpsで読ませれば、映像だけで約42,000トークン、4fpsなら約168,000トークンという計算になります（音声分は含まない目安値）。全編を高fpsで読むより、切り出して再解析するほうが安く済みます。

## 時刻の特定精度はどう確保するのか

> 時刻を答えさせるときは、プロンプトでMM:SS形式を指定します。1fps以下ならMM:SS、1fps超ならMM:SS.sssが推奨されます。

ドキュメントによると、タイムスタンプ指定は1fps以下で`MM:SS`、1fps超で`MM:SS.sss`、1時間を超える場合は`H:MM:SS`系の形式です。また、1リクエストにつき動画は1本、単一動画の場合は動画パートをテキストより前に置くと結果が安定するとされています。

切り出し再解析では、返ってきた時刻が「元動画の時刻」か「切り出し区間の先頭からの相対時刻」かを必ず検証してください。基準が曖昧なまま運用すると、数秒単位のずれに気づけません。サンプルで確認してから運用に入れるのが安全です。

## 小さな検証動画で見落とし率を測る手順

> 検証は2〜3分の動画に既知のイベントを仕込み、fps別に検出率と時刻誤差を比べるだけで足ります。

1. 自社の現場動画から2〜3分を選び、0.5秒・2秒・10秒の出来事を正解として記録する
2. 0.5・1・4fpsで同じ質問を投げ、検出の有無と答えた時刻を記録する
3. 切り出し再解析の時刻が元動画基準で返るかを確認する

この結果から「どの継続時間の出来事なら何fpsが要るか」の表ができれば、本番のfps設計は決まります。画面操作が主題のマルチモーダル設計は[マルチモーダルエージェントの画面操作設計](/blog/multimodal-agent-computer-use-workflow-design/)、画像側のコスト設計は[Claude Vision APIの画像コスト設計](/blog/claude-vision-api-image-cost-design-smb/)も参照してください。導入の伴走が必要なら[AI活用の伴走支援](https://kuucorp.com/services/ai-ops/)で相談できます。

## 参考

- [Video understanding（Google Cloud）](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/capabilities/video-understanding?hl=en)
- [generate_content リファレンス（VideoMetadata）](https://docs.cloud.google.com/gemini-enterprise-agent-platform/reference/mcp/tools_list/generate_content)
- [Video understanding（AI Studio）](https://aistudio.google.com/docs/video-understanding)

## まとめ

動画理解の見落としは、既定の1fpsと切り出し範囲の設計で大半が説明できます。最短イベントからfpsを逆算し、全体は粗く、候補区間は細かく読む。時刻の基準は検証で確かめる。この3点が基本です。動画解析の設計や検証をご検討の際は、Kuu株式会社へお問い合わせください。
