評価スコアがほぼ満点で張り付き、モデルを替えても数字が動かない。逆に、特定の挙動だけを測り続けた結果、エージェントが一方向に偏って最適化されていく。どちらも評価セットが「作って終わり」になったときに起きる劣化です。評価は一度作れば済む資産ではなく、運用で寿命が決まります。
回帰テストの作り方は別記事で扱いました。本稿は、評価セットを作った後の飽和・偏り・保守に絞って設計を整理します。基盤の考え方はエージェントガバナンスのピラーページも参照してください。
評価の飽和とは何か
評価の飽和とは、エージェントが解ける問題をすべて通過し、改善の余地が測れなくなる状態です。Anthropicは SWE-Bench Verified が80%超で飽和に近づいたと述べています。
Anthropicのエンジニアリング記事は、飽和を「エージェントが解けるタスクをすべて通過し、改善の余地が残らない状態」と定義しています。同記事は、SWE-Bench Verifiedのスコアが年初の約30%から、フロンティアモデルで80%超まで伸びて飽和に近づいた例を挙げています。
飽和の実害は2つあります。
- 大きな能力向上が小さなスコア差に見える: 満点近くでは、実力差が数ポイントに圧縮されます
- 劣化も見えない: 全問通過が常態だと、わずかな失点を「誤差」と見なす習慣がつきます
対策は、スコアの絶対値ではなく合格率の分布を監視することです。後述の能力evalと回帰evalを分けて見れば、「満点が正常なスイート」と「伸びしろを測るスイート」を混同しません。
能力evalと回帰evalはどう分けるか
能力evalは低い合格率から始めて伸びしろを測り、回帰evalは100%近い合格率を保って後退を検知します。目的が違うため、スイートを分けます。
同記事は両者を次のように区別しています。
| 種別 | 問い | 想定合格率 | 失点の意味 |
|---|---|---|---|
| 能力eval | 何がうまくできるか | 低い状態から始める | 改善の余地 |
| 回帰eval | 過去のタスクを今も処理できるか | ほぼ100% | 何かが壊れた合図 |
能力evalで合格率が高くなったタスクは、回帰スイートへ卒業させます。タスクの意味は「そもそもできるか」から「今も安定してできるか」へ変わります。
卒業の運用ルールは、少なくとも次を明文化します。
- 卒業の基準(例: 直近N回の複数試行で連続して合格)を数値で決める
- 卒業したタスクは能力eval側から外し、能力evalの合格率が上がり続けないようにする
- 回帰側で失点したら、デプロイを止めるか原因調査を必須にする
- 能力eval側には、現行モデルが通らない新しい難問を補充し続ける
信頼性の確認には、複数回試行して全て成功した割合を見る指標が有効です。詳細はマルチトライアル設計を参照してください。
なぜ片側evalは偏った最適化を生むのか
片側evalとは、「ある挙動をすべき場合」だけを測る評価です。Anthropicは「片側のevalは片側の最適化を生む」と警告しています。
同記事は、検索すべき場面だけをテストすると、ほぼ何でも検索するエージェントが出来上がり得ると指摘しています。評価が片方向なら、プロンプトやツール定義の調整も片方向に寄ります。
対策は対になるケースを必ず入れることです。
- 検索すべき質問と、検索せず答えるべき質問
- 承認を求めるべき操作と、そのまま実行してよい操作
- ツールを呼ぶべき入力と、呼ばずに断るべき入力
Claude Platformの評価設計ガイドも、実運用のタスク分布を反映し、無関係な入力や存在しない入力、曖昧で人間でも判断が割れるケースといったエッジケースを含めるよう勧めています。ケースを追加するときは「行うべき」側と「行わざるべき」側を同数に近づけ、片側の件数が偏っていないかをレビューの観点に加えます。
評価セットを誰がどう保守するか
評価セットは「生きた成果物」です。Anthropicは、基盤は専任チーム、タスクの大半はドメイン担当と製品チームが拠出する分担を有効としています。
同記事は、評価スイートを継続的な注意と明確な所有者を要する生きた成果物と位置づけています。専任の評価チームがコア基盤を持ち、ドメイン専門家と製品チームがタスクの大半を提供して自分たちで評価を回す形が、最も機能したとしています。
保守の定常作業は次のとおりです。
- 本番で見つかった失敗を、新規の評価タスクとして定期的に取り込む
- スコアだけでなく、トランスクリプトと採点結果を多数の試行で読み、正しい解答を採点器が落としていないか確認する
- 部分点を認める。顧客確認と原因特定まで進み返金だけ失敗したエージェントは、最初で止まるエージェントより良い、と同記事は述べています
- 自動評価、本番監視、人手レビューを重ね、単一の層ですべてを捕捉しようとしない
LLMで採点する場合は、生成に使ったモデルとは別のモデルで評価するのが一般にベストプラクティスとされています。採点器の信頼性はLLM審査員の較正で検証してください。
規模別の留意点(SMB / エンタープライズ)
SMB: 専任チームは不要です。担当者1名が、月次で「満点が続くタスクの卒業」と「本番失敗の取り込み」を行う運用から始めます。能力evalと回帰evalをファイルやタグで分けるだけでも、飽和の見落としは大きく減ります。運用の伴走はKuuのAIオペレーション管理サービスにご相談ください。
エンタープライズ: 複数チームがタスクを持ち寄るため、卒業基準・片側チェック・所有者をプラットフォームチームが標準として定め、チームごとの合格率を共通ダッシュボードで可視化します。評価基盤の統制を含む大規模導入はRDEで支援しています。
参考
- Demystifying evals for AI agents | Anthropic
- Create strong empirical evaluations | Claude Platform Docs
まとめ
評価セットは作った時点から陳腐化が始まります。飽和と片側化を防ぐ要点は4つです。
- 能力evalと回帰evalを分け、合格率の期待値をそれぞれ別に持つ
- 高合格率の能力タスクは、基準を決めて回帰スイートへ卒業させる
- 「すべき」と「すべきでない」を対にして、片側最適化を避ける
- 所有者を決め、トランスクリプトを読む保守を定常業務にする
エージェント評価の設計・運用の見直しは、Kuuの運用管理サービスにご相談ください。
