カスタマーサポートや社内ヘルプデスクのエージェントは、1問1答のデータセットでは評価できない。ユーザーが言い直し、情報を小出しにし、途中で目的を変えるからだ。複数チームが同じエージェント基盤を使う環境では、その「ユーザー役」を誰がどう作るかが、評価スコアの比較可能性を左右する。エージェントガバナンスの評価レイヤーでは、ユーザーシミュレータを検証対象の一部として扱う必要がある。
なぜ対話型エージェントの評価にユーザーシミュレータが要るのか
対話型エージェントは応答の質に加えて対話の進め方も採点対象で、ユーザー役を第二のLLMで再現するのが標準的な手法です。
Anthropicは対話型エージェントの評価について、対話そのものの質が評価対象の一部であり、検証可能な最終状態とルーブリックの併用が一般的だと整理している。そのうえで、会話型の評価には「ユーザーをシミュレートする第二のLLM」が必要になることが多く、τ-benchとτ²-benchでは1つのモデルがユーザーのペルソナを演じ、エージェントが現実的なシナリオを進める構成を取っている。
τ-benchの原論文は、言語モデルが駆動するユーザーと、ドメイン固有のAPIツールおよびポリシー文書を持つエージェントの会話を再現する設計だ。成功判定は、会話終了時のデータベース状態を正解状態と突き合わせて行う。発話の巧拙ではなく最終状態で採点するため、ユーザー役LLMの出力が揺れても判定基準は揺れない。
ユーザー役の設計ではどこに統制点を置くか
ユーザー役の統制点は、隠しタスク指示・ペルソナ・終了条件・使用モデルの4つです。これを仕様化しないと再現できません。
実装上の統制点は4つに整理できる。
- 隠しタスク指示: ユーザー役だけが知っている目的と制約。エージェントには見せず、会話の中で段階的に開示させる
- ペルソナ: 口調や情報開示の癖。τ²-benchの公開実装ではテキスト用ユーザーシミュレータにペルソナブロックが入っている
- 終了条件: 目的達成の宣言、または実行上限への到達。上限がないと暴走会話がコストを消費する
- 使用モデル: ユーザー役とエージェントは別のモデル設定として指定する。τ²-benchの公開実装は、エージェントとユーザーのモデルを別々のオプションで切り替えられる
ユーザー役が自分で目的を勝手に変えてしまう失敗は、シミュレータ側の欠陥であってエージェントの欠陥ではない。この2つを混同すると、改善すべき対象を取り違える。
ユーザー役の信頼性はどう確保するか
ユーザー役の誤動作はエージェントの失敗として記録されます。τ²-benchはシミュレータを環境のツールと状態に結び付けて誤りを減らす設計を採ります。
τ²-benchは、ユーザー自身もツールで共有環境を操作できる「デュアルコントロール」のテレコム領域を導入した。ユーザーの行動範囲を環境の観測可能な状態とツールで拘束し、シミュレータの忠実度を高める狙いだ。論文は、ユーザーが操作に関与する設定へ移るとエージェントの性能が有意に落ちることも報告している。ユーザー役を「受け身の情報提供者」にした評価は、現実のサポート業務より易しく出る可能性がある。
運用では、会話ログのサンプルを人間が定期的に読み、ユーザー役の逸脱を分類して回数を記録する。逸脱が多いタスクは、エージェントのスコアから除外するのではなく、シミュレータ側の修正対象として別管理する。
大規模運用でバージョンと信頼度をどう管理するか
複数チームのスコアを比べるには、タスク集合・ユーザー役モデル・判定器のバージョンを固定し、複数トライアルでpass^kを測る必要があります。
τ-benchの原論文は、複数トライアルでの信頼性を測るpass^kを提案し、gpt-4oのような関数呼び出しエージェントでも成功率が半数に届かず、小売ドメインのpass^8が25%を下回ると報告している。顧客に直接触れるエージェントでは、平均成功率よりpass^kが実態に近い。
公開実装のREADMEは、2.0の英語版の実行が旧1.0.1と入力一致せず、2.0のスコアは1.x系のリーダーボードと比較できないと明記している。タスクの差し替えや判定LLMの変更が原因だ。社内運用でも同じ事故が起こる。
- タスク集合は凍結し、変更時は版を上げて旧スコアと別系列にする
- ユーザー役モデル・判定モデルの識別子とプロンプトを、スコアと同じレコードに保存する
- 会話ログに顧客情報を含めない合成データを使い、保管期間と閲覧権限を定める
- 大規模な組織統制はKuu RDEの設計範囲として個別に検討する
参考
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains(arXiv)
- τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment(arXiv)
- sierra-research/tau2-bench(GitHub)
- Demystifying evals for AI agents(Anthropic Engineering)
まとめ
ユーザーシミュレータは評価対象の一部です。隠しタスク指示・終了条件・モデル・版を仕様として固定すれば、スコアが比較可能になります。
対話型エージェントの評価は、最終状態での採点、複数トライアルのpass^k、ユーザー役の仕様固定の3点で成立する。複数チームで評価を共有する大企業ほど、シミュレータの版管理が品質統制の要になる。評価基盤の設計はKuu株式会社にご相談ください。
