本番のAIエージェントが増えると、「すべてに人間レビューを入れると工数が爆発する、しかしLLMジャッジだけでは見逃しが怖い」という矛盾に直面します。評価設計の失敗は「評価しすぎ（コスト超過）」か「評価しなさすぎ（品質劣化の見落とし）」のどちらかに倒れます。
解決策は評価を3層に分業させることです。本記事はAIエージェントガバナンスの評価設計シリーズとして、人間評価・LLMジャッジ・決定論的チェックをどの比率でどう組み合わせるかを設計パターンで整理します。
エージェント評価はなぜ3層設計が必要か
決定論的チェック・LLMジャッジ・人間評価の3層設計が、2026年のエージェント評価の標準アーキテクチャです。
AIエージェントの出力は非決定論的です。「正しく動いているか」の判断基準がコードではなく文脈依存の成果にあるため、従来のソフトウェアテスト設計が機能しません。
単一手法の限界を整理します。
- 決定論的チェックだけ: スキーマ違反・フォーマットエラーは検出できますが、意味的品質（回答の正確性・倫理的整合性）を測れません
- LLMジャッジだけ: 93%のチームがスコアの一貫性問題・ポジショナルバイアス・自己選好バイアスに直面しています（Galileo調査）。全量に適用するとコストと遅延も問題になります
- 人間評価だけ: 1日1,000件処理するエージェントを人間がすべてレビューすることは不可能です。「断定的だが誤った回答」を正確な回答より15〜20%高く評価する逆バイアスも確認されています
3層の組み合わせがこれらの問題を相互補完します。
第1層——決定論的チェックとは何か
第1層の決定論的チェックは全量100%に適用でき、ミリ秒以内でスキーマ・形式違反・安全フィルターを検出します。
決定論的チェックとは、コードで明示的に記述できる合否判定です。LLMを介さないため低コスト・低遅延で全量に適用できます。
| チェック種別 | 内容 | 実装例 |
|---|---|---|
| スキーマ検証 | APIレスポンスのJSON構造・型 | Pydanticバリデーション |
| 安全フィルター | 禁止語・PII漏洩 | 正規表現 + NLPルール |
| 完了確認 | タスクが中断せず完了したか | エージェント終了コード |
| ツール呼び出し数 | 不必要な反復・ループ | ステップカウンター |
| 形式制約 | 文字数・言語・出力形式 | 正規表現 |
第1層だけで検出できる障害は、エンタープライズ実装では全障害の30〜40%に相当します。ここでフィルタリングされた件数が多いほど、第2・3層への投入コストが抑えられます。エージェントのトレース設計と組み合わせると、スパンデータから検証入力を自動生成できます。
第2層——LLMジャッジをいつ・どこに適用すべきか
LLMジャッジは人間評価との一致率80〜85%で動作しますが、本番の10〜20%への絞り込みがコスト最適です。
LLMジャッジ（LLM-as-a-judge）は、より能力の高いモデルが別エージェントの出力を定義されたルーブリックに基づいて採点するパターンです。実装の詳細はLLM-as-a-judgeエンタープライズ評価基盤を参照してください。
適用タイミング:
- CIパイプライン実行時（プルリクエスト時に100%評価）
- 本番トラフィックのサンプリング（10〜20%）
- 第1層で閾値外スコアが出たケースの精査
判定できる評価次元:
- 正確性（タスク目標に対する成果の整合性）
- 根拠整合性（コンテキストとの矛盾がないか）
- ポリシー準拠（社内ルール・コンプライアンス要件）
- トーン・スタイル（ブランドガイドライン準拠）
バイアス対策:
ポジショナルバイアス（最初の選択肢を優先する傾向）と自己選好バイアス（同系モデルの出力を優遇）の影響を抑えるため、複数ジャッジのコンセンサスを取る設計が推奨されます。3つのジャッジが2対1以上で一致した場合のみスコアを確定させるアーキテクチャは、Macro F1スコア97.6〜98.4%（Cohen's Kappa: 約0.95）を達成しています。
第3層——人間評価が必要なのはどんなタスクか
人間評価は本番の2〜5%に絞り、ルーブリック構築・定期キャリブレーション・規制対応業務に集中させます。
人間評価がどうしても必要なケースは4類型に整理できます。
1. 初期ルーブリック構築
ドメイン専門家がゴールデンデータセットにpass/failを付与し、LLMジャッジの「採点基準の基準」を設定します。Anthropicが推奨する基準は「ドメイン専門家2人が独立して判定したとき同じ結論に至ること」です。
2. 定期キャリブレーション
LLMジャッジのスコアが人間判断と乖離していないかを定期測定します。乖離率が10%を超えたらルーブリックを見直すシグナルです。キャリブレーション設計の詳細はLLMジャッジのキャリブレーションと信頼性を参照してください。
3. エッジケース精査
LLMジャッジが「UNKNOWN」または極端な低スコア（例: 1.5点以下）を返した件数をキューに積み、人間が週次で確認します。このフィードバックがゴールデンデータセットの改版に使われます。
4. 規制対応業務
医療診断補助・法的判断・金融審査など、誤判断の影響が大きい業種では、自動評価だけでは法的・コンプライアンス要件を満たせない場合があります。Anthropicは「人間のフィードバックループとチェックポイント」を取り消し不可能な操作の前に組み込むことを原則として示しています。
3層の適用比率をどう決めるか
基本比率は決定論的100%・LLMジャッジ10〜20%・人間2〜5%ですが、規制要件とリスク感度で調整します。
| 業種・用途 | 第1層 | 第2層(LLMジャッジ) | 第3層(人間) | 留意点 |
|---|---|---|---|---|
| コンテンツ生成・社内ナレッジ | 100% | 5〜10% | 1〜2% | 創造的タスクはジャッジバイアスが出やすい |
| カスタマーサポート自動化 | 100% | 15〜20% | 3〜5% | ブランドボイス・感情対応の確認が必要 |
| コード生成・技術文書 | 100% | 20%（CI毎） | 5% | 自動テストを第2層の一部に組み込める |
| 医療・法律・金融補助 | 100% | 20% | 10〜20% | 規制要件により人間評価の下限が引き上がる |
コスト概算（GPT-4クラスをジャッジに使う場合）:
- 第2層（LLMジャッジ）: 1万件の評価で約5〜10ドル
- 第3層（人間評価）: 1件あたり0.5〜3ドル（クラウドソーシング〜専門家）
人間評価を2〜5%に絞れば、月100万件処理するエージェントでも人間レビューは2〜5万件に収まります。トークンコストの計装と連動させた運用設計はAI FinOpsとトークンコスト計装を参照してください。
規模別の留意点（SMB / エンタープライズ）
SMBは第1層から段階導入、エンタープライズは集中評価サービスでルーブリックを統一管理します。
SMB向け:
まず第1層（決定論的チェック）から着手し、最初のゴールデンデータセット20〜50件を揃えてから第2層を導入する段階設計が現実的です。エージェント評価の最小構成から始め、週次で人間によるサンプリング確認を実施することを最初の3ヶ月の目標にするとよいでしょう。KuuのAI運用管理サービスでは、評価パイプラインの段階的な立ち上げを支援しています。
エンタープライズ向け:
複数チームが異なるエージェントを並行運用する環境では、第2層を集中評価サービスとして提供し、共通ルーブリックとバージョン管理を一元化することが不可欠です。第3層の人間評価には専門アノテーターチームの確保・SLA設計・定期キャリブレーションスケジュールが必要で、評価コストをAI FinOpsの枠組みで部門配賦する設計が求められます。大規模な評価基盤の構築支援はKuuのRDEサービスが担っています。
参考
- LLM-as-a-Judge vs Human Evaluation | Galileo AI
- The Complete Guide to LLM & AI Agent Evaluation in 2026 | Adaline
- Building Effective Agents | Anthropic Engineering
- LLM-as-a-Judgeを採点器で終わらせないために | iimon TECH BLOG
まとめ
AIエージェント評価の本質的な問題はスケールです。人間評価は精度が高いがスケールしない。LLMジャッジはスケールするがバイアスと一貫性の問題がある。決定論的チェックはスケールするが意味的品質を測れない。
3層設計はこのトリレンマを層ごとの役割分担で解消します。
- 第1層（決定論的チェック）: 全トラフィックに適用し、明示的なルール違反・スキーマ異常を即時検出
- 第2層（LLMジャッジ）: CI毎の全量 + 本番10〜20%に適用し、意味的品質・ポリシー準拠を自動採点
- 第3層（人間評価）: 本番2〜5%のサンプリングとルーブリック構築・キャリブレーションに集中させる
評価設計は一度構築すれば終わりではなく、エージェントの改版・モデルアップグレード・業務変化に合わせてルーブリックと人間比率を継続的に見直す運用が必要です。評価パイプラインの設計から本番導入まで支援が必要な場合は、Kuuまでご相談ください。