プロダクションに出たAIエージェントが、先週まで問題なかったのに今週はツール選択ミスを頻発するようになった——こうした品質劣化を、ユーザーエスカレーション前に検知するには、本番トラフィックを継続してサンプリング評価する仕組みが必要だ。ゴールデンデータセットを使ったオフライン評価は開発時の安全ゲートとして機能するが、本番が持ち込む分布の変動には対応できない。
オフライン評価とオンライン評価はどう違うのか
オフライン評価は既知のテストケースを検証するが、本番特有の分布変動やモデルAPI変更は捉えられない。オンライン評価が補う。
オフライン評価（回帰テスト・CI/CDゲート）は「コミット時に壊れていないか」を確認するために設計されている。一方、オンライン評価が対象とするのは「本番で今も正しく動いているか」という問いだ。
| 観点 | オフライン評価 | オンライン評価 |
|---|---|---|
| 実行タイミング | コミット・デプロイ時 | 本番稼働中・常時 |
| データソース | ゴールデンデータセット | 実ユーザートレース |
| 検知対象 | 回帰・既知バグ | 分布ドリフト・新種エラー |
| レイテンシ影響 | なし | サンプル率次第 |
Anthropicの評価ガイドは「単一の評価層が全問題を捉えることはできない。複数の方法を組み合わせることで、あるレイヤーを潜り抜けた障害を別のレイヤーが捕捉できる」と述べる。CI/CDパイプラインへの評価統合がコミット時の関門なら、オンライン評価は本番稼働後の継続的な品質番人だ。
本番トラフィックに潜む4つのリスクはなにか
本番は開発時に再現できない入力変動やモデル変更を常に持ち込む。サンプリング評価なしでは品質劣化の検知はユーザー報告後になる。
インフラ監視（HTTP 200・レイテンシ・スループット）は「リクエストが完了したか」を確認するが、「エージェントが正しいツールを選んだか」は検知できない。オンライン評価が埋めるのはこのセマンティックな空白だ。
- 分布ドリフト: ユーザーの入力パターンがデータセット作成時と乖離し、未見のエッジケースが増加する
- プロバイダーAPI変更: モデルの微調整・廃止・バージョン変更でツール呼び出しのフォーマット整合が崩れる
- カスケード障害: 上流エージェントの品質劣化が下流サブエージェントの誤動作を連鎖的に引き起こす
- コンテキスト飽和: 長セッションでコンテキストウィンドウが膨張し、指示遵守率が低下する
三層サンプリング設計——コストと品質を両立する構造
ヒューリスティック100%・LLM-as-judge 10〜20%・人手2〜5%の三層が定番サンプリング設計だ。
全トレースにLLM-as-judgeを走らせるとトークンコストが線形に拡大する。三層構造はそれを避けながら品質保証を維持する設計だ。
ヒューリスティック層（100%）
全トレースに対して決定論的な高速チェックを実行する。実装コストが低く、1リクエストあたり数ミリ秒で動作する。
- JSON・スキーマ形式の整合性
- ツール呼び出し回数の上限チェック（ループ検知）
- レスポンス長の範囲確認
- PII・禁止語句のスキャン
明らかな構造エラーをこの層で除外することで、後段のLLM評価のノイズを削減できる。
LLM-as-judge層（10〜20%）
統計的に有意なサンプルに対して、LLMが評価ルーブリックに従ってスコアを付与する。Adalineのガイドは「高コストなLLM-as-judgeを本番リクエストの5〜10%に実行し、高速なヒューリスティックは全量に走らせる」を推奨する。評価軸の例を示す。
- 指示遵守性: ユーザーの依頼に沿った回答か
- 根拠の質: ツール実行結果を適切に引用しているか
- トーン整合: ペルソナ・言語設定と一致しているか
人手アノテーション層（2〜5%）
LLM-as-judgeが低スコアまたは高不確実を示したサンプルを優先的に人手確認する。週次での定期レビューとして組み込み、ジャッジのキャリブレーション（スコアが実際の品質とズレていないか）にも活用する。
分布ドリフトの検知とアラート設計
分布ドリフトとは本番入力分布がデータセットと乖離する現象だ。埋め込み統計・ツールパターン・エラー率で週次検知する。
ドリフトを検知する主な指標を3つ挙げる。
- 埋め込みベクトルの統計値: 入力をエンコードし、訓練時の埋め込み分布との距離（コサイン類似度平均・KLダイバージェンス）を週次で追跡する。急激な変化はドメインシフトの兆候だ
- ツール呼び出しパターン: 各ツールの呼び出し頻度分布が通常と大きく外れた場合、入力パターンが変化している可能性がある
- エラー率とツール失敗率: ヒューリスティック評価層で検知されるフォーマットエラー・スキーマ不整合の増加が、ドリフト到来の先行指標になる
アラート閾値の設定では自動ロールバックを過敏にしすぎないことが重要だ。ノイズの多い指標に厳しい閾値を設定すると誤報が増え、運用チームがアラートに慣れる（アラート疲れ）。まずは致命的エラー率のみ自動ロールバック対象とし、その他は週次レポートに集約する設計が安定しやすい。
シャドウデプロイとカナリアリリースとの組み合わせ方
シャドウデプロイはユーザーへの影響ゼロで新旧エージェントを並列比較し、カナリアリリースは閾値超えで自動ロールバックする。
オンライン評価はモデル・プロンプト更新時のリリース判定とも連携できる。
シャドウデプロイは新旧エージェントに同一入力を送り、出力を並列に評価する。ユーザーには現行バージョンの結果のみが返るため、品質リスクがゼロの比較環境を作れる。ただし非決定論的なモデルは同入力でも出力が変わるため、シャドウスコアが良くても完全な安全保証にはならない。
カナリアリリースは1〜5%のトラフィックを新バージョンに割り当て、エラー率・レイテンシ・LLM-as-judgeスコアをリアルタイム監視する。設定した閾値を超えた時点で旧バージョンへ自動ロールバックする設計が標準だ。エージェントのブルーグリーン・カナリアデプロイと組み合わせることで、オンライン評価スコアをリリースゲートの一次指標として使える。
規模別の留意点（SMB / エンタープライズ）
SMBの場合: 最小構成はヒューリスティック層（100%）とLLM-as-judge層（10〜20%）の2層から始める。LangSmith・Arize Phoenix等の既存可観測性ツールにサンプルトレースを集約すれば追加インフラは不要だ。週次で担当者がサンプルトレースを10〜20件手動レビューする慣習を作るだけでも、品質劣化の早期察知に効果がある。Kuuの運用管理サービス（AI-Ops）では、こうした評価基盤の設計・構築を支援している。
エンタープライズの場合: サンプリングポリシーをチーム・ユーザーセグメント・ロールごとに分離し、コスト配賦（AI FinOps）と連携させることが求められる。VPC内にLLM評価エンドポイントを立て、機密トレースを外部送信しない設計が必要な場合もある。分布ドリフト検知は自動化パイプラインに組み込み、インシデント管理ツールと連携する。Kuuの大規模AI基盤支援（RDE）では、マルチチームのサンプリングポリシー設計と評価パイプラインの構築を担当する。
参考
- Demystifying evals for AI agents | Anthropic Engineering
- The Complete Guide to LLM & AI Agent Evaluation in 2026 | Adaline
- AI Agents in Production: Observability & Evaluation | Microsoft AI Agents for Beginners
まとめ
オンライン評価は、オフライン回帰テストやCI/CDゲートが検知できない「本番固有の品質劣化」を継続的に捕捉する仕組みだ。三層サンプリング構造（ヒューリスティック100%・LLM-as-judge 10〜20%・人手2〜5%）により、コストを抑えながらセマンティックな品質保証を実現できる。
分布ドリフト検知・シャドウデプロイ・カナリアリリースを組み合わせると、モデル更新やユーザー行動変化に起因する障害をエスカレーション前に制御できる体制が整う。
AIエージェントの評価基盤の設計・構築については、Kuu株式会社のAIエージェント運用管理サービス（AI-Ops）にご相談ください。