プロンプトを変更して評価スコアが+5%改善した。しかしそれはモデルの確率的な揺らぎではないか——こうした問いに答えられずに品質改善を本番昇格させるチームは多い。ソフトウェアのCTRテストと同じ感覚でエージェントのA/Bテストを設計すると、偽陽性を出荷するリスクが構造的に高まる。
エージェントガバナンスの観点からは、「評価結果が信頼できるか」を問うメタ評価の設計も統制対象に含まれる。本記事では、エンタープライズのエンジニア・SREを対象に、エージェント評価実験の統計設計——サンプルサイズ計算からピーキング問題の回避、ガードレール指標の設計まで——を体系的に解説する。
エージェントのA/Bテストがソフトウェアと本質的に異なる理由は何か
エージェント評価のA/Bテストは、LLMの非決定性・多次元品質・コントロールアームのドリフトという3要因により、ソフトウェアのCTRテストとは設計の前提が根本的に異なります。
非決定性によるスコア分散の拡大
ソフトウェアのコンバージョンテストでは標準偏差σが0.03〜0.05程度に収まる。エージェントの品質ルーブリック（0〜1スケール）ではσが0.12〜0.25に達することが多い。σが2倍になると、同等の検出力を得るために必要なサンプル数は4倍に膨らむ。「感覚で100件試したら十分」という基準は機能しない。
多次元品質指標のトレードオフ
精度・安全性・レイテンシ・コスト・タスク完了率は互いにトレードオフの関係にある。精度を改善するプロンプト変更がトークンコストを40%増大させるケースは珍しくない。主要指標だけを最大化する実験設計は、ガードレール指標の劣化を見落とすリスクを抱える。
コントロールアームのドリフト
変更を加えていないコントロールアームでも、LLMプロバイダーのモデル更新・検索インデックスの変化・ツール定義の更新によって挙動が静かに変わる。2週間以上にわたるテストでは、コントロールの品質ドリフトがバリアントとの比較を曖昧にする。テスト期間の上限設計とドリフト検出が必要だ。
サンプルサイズはどう計算するか——マッチドペア設計が標準
マッチドペア設計（matched-pair design）で同一入力を両バリアントに実行し、ペアごとのデルタベクトルを分析することで、独立グループ設計より1〜2桁狭い信頼区間を達成できます。
連続ルーブリック（0〜1スケール）の計算式
``
n_per_arm = 16 × σ² / MDE²
- α = 0.05、検出力 = 0.80
- σは50〜100件の較正サンプルから実測する（典型値: 0.12〜0.25）
- MDE（最小検出差）は「出荷に値する最小の改善量」として事前に決定する
計算例: σ=0.18、MDE=0.04 の場合
``
n_per_arm = 16 × 0.0324 / 0.0016 = 324
各アームに324件の入力が必要。MDEを半分の0.02に引き下げると、必要サンプルは1,296件（4倍）になる。100件以下でのA/Bは「A/Bとして成立しない」と考えるべきだ。
二値メトリクス（合否判定）の計算式
``
n_per_arm = 16 × p(1-p) / MDE²
マッチドペアの推奨理由
同一入力を両バリアントに流すため、入力分布の偏りによる分散が消える。独立グループ設計では同等の信頼区間を得るために4〜10倍のサンプルが必要になるのに対して、コスト（推論費用）はマッチドペアの約2倍で済む。スループットが十分であればマッチドペアを選ぶことがコスト最適だ。
また、ジャッジモデルとそのプロンプトをテスト期間中フリーズすることが前提条件だ。評価ルーブリックがテスト中に変わると、スコアの変化が入力変更によるものかジャッジ変更によるものか区別できなくなる。
ピーキング問題はなぜ致命的な設計エラーか
「有意になったら打ち切る」運用（ピーキング）は、名目上5%の偽陽性率を実質26%以上に膨張させます。事前に分析タイミングを登録し、逐次テストを統合することで回避します。
ピーキングの統計的影響
固定水平線テスト（事前に確定したサンプル数まで待つ設計）に対して、バッチごとにデータをチェックして有意になったら打ち切る運用を繰り返すと、偽陽性率が5%から26%超（継続的モニタリングでは30%超）に膨らむことが実験研究で確認されている。エージェントの品質改善を確信したまま、実際は統計的ノイズを出荷することになる。
2つの対処法
- 分析タイミングの事前登録: データを見る前に「いつ・何件を集めて分析する」を確定する。実験開始後のメトリクス変更・打ち切りは禁止とする
- 逐次テスト（Sequential Testing）: 複数の中間チェックポイントを事前に設定し、各ポイントに適切な有意水準を割り当てる（O'Brien-Fleming境界、Bonferroni補正）。事前に計画した中間評価であれば偽陽性率を制御できる
ブートストラップ信頼区間の算出手順
LLMのスコア分布は正規分布に従わないため、t検定だけでは不十分だ。マッチドペアのデルタベクトルに対して10,000回のリサンプリングを実行し、2.5パーセンタイルと97.5パーセンタイルを抽出する。95% CI の下限がゼロを上回る場合のみ出荷判断を下す。p値単体ではなく、効果量とCIをセットで報告することで意思決定の根拠が透明になる。
ガードレール指標と3バリアント以上の設計
ガードレール指標は主要指標と独立して設定し、トレードオフを明示的に管理する。3バリアント以上の評価にはトンプソンサンプリングで探索コストを削減できる。
ガードレール指標の設計
主要指標（例: タスク完了率+3%）が向上しても、ガードレール指標が閾値を超えて悪化した場合は出荷しない。エンタープライズで設定すべき代表的なガードレールは以下の通り。
- レイテンシ: p95 が基準値の±20%以内
- トークンコスト: 1リクエストあたりの費用が+15%以内
- ガードレールトリップ率: 有害コンテンツ・PII漏洩の検出率が基準値+0.1%以内
- 安全スコア: ルーブリックの安全軸が基準値を下回らない
これらをダッシュボードにプロットし、自動アラートを設定する。AIエージェントの可観測性設計と統合することで、評価パイプラインのメトリクスを既存の監視基盤に集約できる。
3バリアント以上——トンプソンサンプリングの採用基準
固定水平線A/Bテストでは各アームに同等のサンプルを割り当てるため、3バリアント以上では実験コストが線形に増える。トンプソンサンプリング（Thompson Sampling）は早期に劣るバリアントへのトラフィックを削減し、有望なバリアントへの配分を動的に増やすため、実験期間を短縮できる。ただし効果量の推定精度は固定水平線設計より低下するため、主要な品質比較には固定水平線設計を優先し、探索コストが問題になる多変量実験にのみバンディットを採用する。
参考
- A/B Testing LLM Prompts: The Statistical Playbook (2026) — FutureAGI
- A/B Testing Strategies for AI Agents: How to Optimize Performance and Quality — Maxim
まとめ
エージェント評価のA/Bテストは、LLMの非決定性・多次元品質・コントロールドリフトという3要因のために、ソフトウェアのCTRテストと同じ設計では偽陽性が構造的に増加する。マッチドペア設計でコストと信頼性を両立し、事前にMDEとサンプルサイズを計算し、ピーキングを排除することが信頼性の基盤になる。ガードレール指標を主要指標と独立して設計することで、改善と劣化のトレードオフを根拠として説明できるようになる。
Kuuはエンタープライズのエージェント評価設計・実験基盤の構築をRDEサービスで支援しています。評価実験のサンプルサイズ設計や統計的信頼性の担保についてはお気軽にご相談ください。