# ユーザー役LLMの設計——マルチターン評価の忠実度と版管理

> 対話型エージェントのマルチターン評価は、ユーザー役LLMの隠しタスク指示・終了条件・バージョン固定で再現性が決まります。τ-benchの設計を基に、大規模運用の統制点を整理します。

- Canonical: https://kuucorp.com/blog/agent-eval-user-simulator-multi-turn-fidelity-design/
- Date: 2026-11-18
- Last modified: 2026-11-18
- Publisher: Kuu株式会社 (https://kuucorp.com)

---
カスタマーサポートや社内ヘルプデスクのエージェントは、1問1答のデータセットでは評価できない。ユーザーが言い直し、情報を小出しにし、途中で目的を変えるからだ。複数チームが同じエージェント基盤を使う環境では、その「ユーザー役」を誰がどう作るかが、評価スコアの比較可能性を左右する。[エージェントガバナンス](/ai-governance/)の評価レイヤーでは、ユーザーシミュレータを検証対象の一部として扱う必要がある。

## なぜ対話型エージェントの評価にユーザーシミュレータが要るのか

> 対話型エージェントは応答の質に加えて対話の進め方も採点対象で、ユーザー役を第二のLLMで再現するのが標準的な手法です。

Anthropicは対話型エージェントの評価について、対話そのものの質が評価対象の一部であり、検証可能な最終状態とルーブリックの併用が一般的だと整理している。そのうえで、会話型の評価には「ユーザーをシミュレートする第二のLLM」が必要になることが多く、τ-benchとτ²-benchでは1つのモデルがユーザーのペルソナを演じ、エージェントが現実的なシナリオを進める構成を取っている。

τ-benchの原論文は、言語モデルが駆動するユーザーと、ドメイン固有のAPIツールおよびポリシー文書を持つエージェントの会話を再現する設計だ。成功判定は、会話終了時のデータベース状態を正解状態と突き合わせて行う。発話の巧拙ではなく最終状態で採点するため、ユーザー役LLMの出力が揺れても判定基準は揺れない。

## ユーザー役の設計ではどこに統制点を置くか

> ユーザー役の統制点は、隠しタスク指示・ペルソナ・終了条件・使用モデルの4つです。これを仕様化しないと再現できません。

実装上の統制点は4つに整理できる。

- **隠しタスク指示**: ユーザー役だけが知っている目的と制約。エージェントには見せず、会話の中で段階的に開示させる
- **ペルソナ**: 口調や情報開示の癖。τ²-benchの公開実装ではテキスト用ユーザーシミュレータにペルソナブロックが入っている
- **終了条件**: 目的達成の宣言、または実行上限への到達。上限がないと暴走会話がコストを消費する
- **使用モデル**: ユーザー役とエージェントは別のモデル設定として指定する。τ²-benchの公開実装は、エージェントとユーザーのモデルを別々のオプションで切り替えられる

ユーザー役が自分で目的を勝手に変えてしまう失敗は、シミュレータ側の欠陥であってエージェントの欠陥ではない。この2つを混同すると、改善すべき対象を取り違える。

## ユーザー役の信頼性はどう確保するか

> ユーザー役の誤動作はエージェントの失敗として記録されます。τ²-benchはシミュレータを環境のツールと状態に結び付けて誤りを減らす設計を採ります。

τ²-benchは、ユーザー自身もツールで共有環境を操作できる「デュアルコントロール」のテレコム領域を導入した。ユーザーの行動範囲を環境の観測可能な状態とツールで拘束し、シミュレータの忠実度を高める狙いだ。論文は、ユーザーが操作に関与する設定へ移るとエージェントの性能が有意に落ちることも報告している。ユーザー役を「受け身の情報提供者」にした評価は、現実のサポート業務より易しく出る可能性がある。

運用では、会話ログのサンプルを人間が定期的に読み、ユーザー役の逸脱を分類して回数を記録する。逸脱が多いタスクは、エージェントのスコアから除外するのではなく、シミュレータ側の修正対象として別管理する。

## 大規模運用でバージョンと信頼度をどう管理するか

> 複数チームのスコアを比べるには、タスク集合・ユーザー役モデル・判定器のバージョンを固定し、複数トライアルでpass^kを測る必要があります。

τ-benchの原論文は、複数トライアルでの信頼性を測るpass^kを提案し、gpt-4oのような関数呼び出しエージェントでも成功率が半数に届かず、小売ドメインのpass^8が25%を下回ると報告している。顧客に直接触れるエージェントでは、平均成功率よりpass^kが実態に近い。

公開実装のREADMEは、2.0の英語版の実行が旧1.0.1と入力一致せず、2.0のスコアは1.x系のリーダーボードと比較できないと明記している。タスクの差し替えや判定LLMの変更が原因だ。社内運用でも同じ事故が起こる。

- タスク集合は凍結し、変更時は版を上げて旧スコアと別系列にする
- ユーザー役モデル・判定モデルの識別子とプロンプトを、スコアと同じレコードに保存する
- 会話ログに顧客情報を含めない合成データを使い、保管期間と閲覧権限を定める
- 大規模な組織統制は[Kuu RDE](/services/rde/)の設計範囲として個別に検討する

## 参考

- [τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains（arXiv）](https://arxiv.org/abs/2406.12045)
- [τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment（arXiv）](https://arxiv.org/abs/2506.07982)
- [sierra-research/tau2-bench（GitHub）](https://github.com/sierra-research/tau2-bench)
- [Demystifying evals for AI agents（Anthropic Engineering）](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

## まとめ

> ユーザーシミュレータは評価対象の一部です。隠しタスク指示・終了条件・モデル・版を仕様として固定すれば、スコアが比較可能になります。

対話型エージェントの評価は、最終状態での採点、複数トライアルのpass^k、ユーザー役の仕様固定の3点で成立する。複数チームで評価を共有する大企業ほど、シミュレータの版管理が品質統制の要になる。評価基盤の設計は[Kuu株式会社](/services/rde/)にご相談ください。
