音声AIに話しかけて途中で割り込んだのに、数秒前の回答が流れ続ける。原因の多くはモデルではなく、クライアント側の再生バッファが残っていることです。サーバーが生成を止めても、手元のキューに積んだ音声は自動では消えません。本記事では、Gemini Live APIの公式仕様をもとに、割込み時の状態遷移を小さな実装単位で整理します。
割込み時に何が止まり何が残るのか
サーバーは割込みで生成を取り消しますが、クライアントが既に受け取った音声は残るため、再生側で明示的に破棄する必要があります。
Firebase AI Logicの設定ドキュメントによると、activityHandlingの既定値はINTERRUPTで、ユーザーの発話を検出すると現在の応答を即座に取り消します。このとき生成は中止され、保留中のツール呼び出しも破棄されます。セッション履歴は切り詰められ、割込み前にクライアントへ送信済みの内容だけがコンテキストに残ります。
つまり、サーバー側の整合性はサーバーが保ちます。残る問題は次の2点です。
- 受信済みで未再生の音声チャンクがクライアントのキューに残る
- 再生中のチャンクが最後まで鳴り続ける
ドキュメントは、アプリが再生用に音声をバッファしている場合、割込みシグナルを受けたら再生を止めてキューを空にするよう求めています。シグナル名はSDKにより異なり、SwiftではwasInterrupted、Kotlin・Java・Web・Flutter・Unityではinterruptedです。
どのイベントで状態を遷移させるのか
割込みターンは「interrupted → turn_complete」の順で終わり、generation_completeは来ません。
Vertex AI側のLive APIリファレンスには、割込みされたターンにgeneration_completeメッセージは出ず、interruptedからturn_completeへ進むと明記されています。一方、割込みなしの通常ターンでは、モデルがリアルタイム再生を想定して再生完了を待つため、generation_completeとturn_completeの間に遅延が生じます。
このため、終了判定をturn_completeだけ、あるいはgeneration_completeだけに頼る実装は誤作動します。最小構成の状態は次の4つで足ります。
IDLE: 入力待ちLISTENING: ユーザー発話を送信中SPEAKING: モデル音声を受信し再生中DRAINING: 生成は終わったが未再生音声が残っている
遷移規則は次のとおりです。
SPEAKINGでinterruptedを受信 → 再生を停止しキューを破棄、LISTENINGへSPEAKINGでgeneration_completeを受信 →DRAININGへDRAININGでキューが空になりturn_completeも受信済み →IDLEへSPEAKINGでturn_completeのみ受信 → 次ターンを受け付けつつ再生は継続
def on_server_message(msg, player, state):
sc = msg.server_content
if sc and sc.interrupted:
player.stop() # 再生中のチャンクを止める
player.clear_queue() # 未再生のキューを捨てる
state.value = "LISTENING"
return
if sc and sc.model_turn:
for part in sc.model_turn.parts:
player.enqueue(part.inline_data.data)
state.value = "SPEAKING"
if sc and sc.generation_complete:
state.value = "DRAINING"
if sc and sc.turn_complete:
state.turn_done = True
上記は疑似コードです。実際のフィールド名は採用するSDKのイベント定義で確認してください。
古い音声が混ざる競合をどう防ぐか
破棄後に遅れて届く音声チャンクは、ターンIDで弾かないと新しい応答に混ざります。
interruptedを受けた時点でキューを空にしても、ネットワーク上を移動中のチャンクは後から到着する可能性があります。公式ドキュメントはこの遅延パケットの扱いまで規定していないため、アプリ側で防御する前提で設計します。
- クライアントで「現在のターン番号」を持ち、
interrupted受信時にインクリメントする - 受信チャンクを再生キューに積む前に、現在のターン内かを確認する
turn_completeを受けるまでは、次ターンのチャンクと前ターンの残りを区別する
プロトコル上でチャンクにターンIDが付かない場合、「interrupted以降、次のmodel_turnが到着するまでの音声は破棄する」という保守的なルールが現実的です。この値と挙動は実環境で計測して調整してください。
自動VADをオフにすると何が変わるのか
自動VADを切ると、発話の開始と終了をクライアントが送る責任を負い、割込み判定もアプリの実装になります。
VAD(Voice Activity Detection、発話区間検出)は既定で有効です。Firebaseのドキュメントでは、感度(startSensitivity・endSensitivity)、無音判定の長さ(silenceDuration、既定は約800ms、推奨500〜800ms)、先頭の切れを防ぐprefixPadding(推奨20〜50ms)を調整できます。
自動VADを無効にする場合は、sendStartActivityRealtime、sendAudioRealtime、sendStopActivityRealtimeの順でクライアントが送ります。Vertex側のリファレンスでも、activity_startとactivity_endは自動検出が無効のときだけ送信でき、この構成ではAudioStreamEndは送られず、ストリームの中断はActivityEndで示されます。
注意点が2つあります。
- 無効時はサーバーが
sendStopActivityRealtimeで即座に動くため、クライアント側の検出器は500ms以上の無音しきい値を推奨とされています - 割込みの前提となる「発話開始の検知」もアプリが担うため、環境ノイズでの誤割込みはアプリ側の責任になります
PoCの段階では、自動VADのまま感度だけ調整する構成から始めるのが安全です。
実装前に確認すべきチェックリスト
採用するSDKとモデルのイベント名・順序を、実機のログで確認してから状態機械を固定します。
公式リファレンスはイベント名をsnake_caseで、Firebaseのサンプルはキャメルケースで記載しており、SDKごとに表記が異なります。コミュニティでは、特定のLiveモデルでturnCompleteが割込みまで届かないという報告もありますが、公式の確認が取れていないため、設計の前提にはしないでください。
- 通常ターンと割込みターンで、受信イベントの順序をログに出して確認する
interrupted受信から再生停止までの遅延を計測する- 破棄後に届いた遅延チャンクの有無を、ネットワーク遅延を入れて再現する
- ログは構造化して保存し、ターン番号と状態遷移を追えるようにする
小規模な検証から本番導入までの進め方は、Kuu株式会社のAI運用管理サービスでも支援しています。通信方式やテキスト配信の逆圧はLLMストリーミング実装の選択基準を参照してください。
参考
まとめ
音声AIの割込み対応は、interruptedを受けたら再生を止めてキューを破棄し、LISTENINGへ戻す一点に集約されます。割込みターンはinterruptedからturn_completeへ進みgeneration_completeが来ないため、通常ターンとは別の終了経路として扱ってください。
遅延チャンクの混入と自動VAD無効時の責任範囲は、実環境のログで検証してから状態機械を固定するのが確実です。音声エージェントの検証設計のご相談は、AI運用管理サービスまでお気軽にどうぞ。
