同じプロンプトを同じエージェントに3回投げると、結果が3通り返ってくる。CIパイプラインでは「昨日グリーンだったテストが今日は落ちる」という現象が日常的に起き、担当者は原因を追わずに再実行ボタンを押して済ませがちだ。だがこの「フレーキー（flaky）」を放置するチームは、エージェントの品質低下を統計的な揺らぎとして見逃し続けることになる。エージェントガバナンスの評価レイヤーにおいて、非決定性はバグではなく設計対象として扱う必要がある。
エージェント評価はなぜ実行ごとに結果が変わるのか
LLMエージェントは温度・浮動小数点演算・ツール選択の揺らぎにより、同一入力でも出力が実行ごとに変動します。
エージェントの出力が毎回変わる原因は温度（temperature）やtop-pサンプリングだけではない。ツール呼び出しを伴うマルチステップエージェントを対象にした研究（6モデル・19タスク・1,140回の実行を分析）では、出力テキストの完全一致率が5%未満という結果が示された一方、エージェントが選ぶツールの順序（Tool Sequence Similarity, TSS）は平均0.87（95%信頼区間 [0.84, 0.90]）と比較的安定していた。つまり「何をするか」の手順レベルでは一貫性があっても、「その手順にどんな値を渡すか」という引数レベル（Argument Consistency, AC、平均0.69、95%CI [0.64, 0.74]）や自然言語の表現レベルでは揺らぎが大きい。この構造とパラメータの乖離は統計的に有意（Cohen's d=0.75, p<10⁻¹³）であり、評価設計はこの階層構造を前提にする必要がある。
pass@kとpass^kはどう使い分けるか
pass@kは複数解の許容可否を、pass^kは全試行の成功が必須かどうかを測る指標です。
Anthropicはエージェント評価をtask・trial・harness・grader・suiteに分解し、複数トライアルでの評価を推奨している。代表的な指標が9軸評価とも接続するpass@kとpass^kだ。pass@kは「k回中1回でも成功する確率」、pass^kは「k回全てが成功する確率」を意味する。1回あたりの成功率が75%のタスクを3回試行した場合、pass^3（3回とも成功する確率）は約42%まで下がる。複数の正解経路があるタスクはpass@kで十分だが、顧客対応など一貫性そのものが価値になるエージェントはpass^kを主指標に据えるべきというのがAnthropicの整理だ。単一の実行結果だけで「合格/不合格」を判定するCI設計は、この分布を無視した誤判定を生みやすい。
非決定性はどう統計的に測定するか
出力レベルはU統計量、軌跡レベルは最大平均乖離（MMD）で一貫性を分解して測定します。
SWE-bench・Spider2-DBT・BFCLの3ベンチマークを用いた研究では、対称カーネル関数を使ったU統計量で出力の対毎類似度を、再生核ヒルベルト空間上の最大平均乖離（MMD）で可変長の行動軌跡間の距離を測定するフレームワークが提案されている。この研究の核心的な発見は「高い出力精度が深刻な一貫性の失敗を隠蔽する」という点だ。タスクを意味的に等価な形に言い換える摂動を与えると、エージェントは行動の構成（何のツールを使うか）は保つが、順序の安定性では失敗する傾向が確認された。精度スコア単体を追うだけでは、この種の一貫性劣化は検出できない。
再現性を高める設計はどう実装すればよいか
タスク仕様の曖昧性除去・複数トライアル集約・階層別モニタリングの3点が再現性設計の柱になります。
実装レベルでは3つの手当てが有効だ。第一に、タスク仕様の曖昧性を減らすこと。前述の研究では、指示が曖昧な条件下で引数一貫性（AC）が28%相対的に低下しており、これはモデル選択そのものより効果が大きい要因として報告されている。第二に、出力の完全一致ではなく意味的等価性でグレーディングすること——LLMジャッジのキャリブレーション設計と組み合わせ、バイト単位の一致ではなく意味内容の一致を判定基準にする。第三に、マルチステップ評価と同様、ツール列・引数・出力の3層を別々にモニタリングし、TSSは高いのにACが低い、といった乖離を可視化することだ。TSSは正答率を強く予測する一方（TSS高群90.2% vs 低群61.2%）、ACは正答率をほぼ予測しない（r=0.12、有意差なし）という知見は、監視すべき指標の優先順位づけにも使える。エージェント評価のCI/CDパイプラインにこれらの階層別チェックと複数トライアル集約を組み込む設計は、大規模なマルチエージェント基盤ほど投資対効果が大きい。RDEではこうした評価基盤の設計・実装を伴走している。
参考
- Anthropic「Demystifying evals for AI agents」 https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- 「Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability」 https://arxiv.org/html/2605.10516
- 「How Consistent Are LLM Agents? Measuring Behavioral Reproducibility in Multi-Step Tool-Calling Pipelines」 https://arxiv.org/html/2605.28840
まとめ
エージェント評価の非決定性は排除できないが、境界づけることはできる。pass@kとpass^kを目的に応じて使い分け、出力・引数・ツール列の3層で一貫性を分解して測定し、タスク仕様の曖昧性を減らす——この3点を組み込むことで、フレーキーなCIを「たまたま落ちた」で済ませない評価基盤になる。エンタープライズ規模のマルチエージェント運用でこの設計を伴走してほしい場合は、RDEにお問い合わせいただきたい。