約 4 分で読めます

ユーザー役LLMの設計——マルチターン評価の忠実度と版管理

カスタマーサポートや社内ヘルプデスクのエージェントは、1問1答のデータセットでは評価できない。ユーザーが言い直し、情報を小出しにし、途中で目的を変えるからだ。複数チームが同じエージェント基盤を使う環境では、その「ユーザー役」を誰がどう作るかが、評価スコアの比較可能性を左右する。エージェントガバナンスの評価レイヤーでは、ユーザーシミュレータを検証対象の一部として扱う必要がある。

なぜ対話型エージェントの評価にユーザーシミュレータが要るのか

対話型エージェントは応答の質に加えて対話の進め方も採点対象で、ユーザー役を第二のLLMで再現するのが標準的な手法です。

Anthropicは対話型エージェントの評価について、対話そのものの質が評価対象の一部であり、検証可能な最終状態とルーブリックの併用が一般的だと整理している。そのうえで、会話型の評価には「ユーザーをシミュレートする第二のLLM」が必要になることが多く、τ-benchとτ²-benchでは1つのモデルがユーザーのペルソナを演じ、エージェントが現実的なシナリオを進める構成を取っている。

τ-benchの原論文は、言語モデルが駆動するユーザーと、ドメイン固有のAPIツールおよびポリシー文書を持つエージェントの会話を再現する設計だ。成功判定は、会話終了時のデータベース状態を正解状態と突き合わせて行う。発話の巧拙ではなく最終状態で採点するため、ユーザー役LLMの出力が揺れても判定基準は揺れない。

ユーザー役の設計ではどこに統制点を置くか

ユーザー役の統制点は、隠しタスク指示・ペルソナ・終了条件・使用モデルの4つです。これを仕様化しないと再現できません。

実装上の統制点は4つに整理できる。

  • 隠しタスク指示: ユーザー役だけが知っている目的と制約。エージェントには見せず、会話の中で段階的に開示させる
  • ペルソナ: 口調や情報開示の癖。τ²-benchの公開実装ではテキスト用ユーザーシミュレータにペルソナブロックが入っている
  • 終了条件: 目的達成の宣言、または実行上限への到達。上限がないと暴走会話がコストを消費する
  • 使用モデル: ユーザー役とエージェントは別のモデル設定として指定する。τ²-benchの公開実装は、エージェントとユーザーのモデルを別々のオプションで切り替えられる

ユーザー役が自分で目的を勝手に変えてしまう失敗は、シミュレータ側の欠陥であってエージェントの欠陥ではない。この2つを混同すると、改善すべき対象を取り違える。

ユーザー役の信頼性はどう確保するか

ユーザー役の誤動作はエージェントの失敗として記録されます。τ²-benchはシミュレータを環境のツールと状態に結び付けて誤りを減らす設計を採ります。

τ²-benchは、ユーザー自身もツールで共有環境を操作できる「デュアルコントロール」のテレコム領域を導入した。ユーザーの行動範囲を環境の観測可能な状態とツールで拘束し、シミュレータの忠実度を高める狙いだ。論文は、ユーザーが操作に関与する設定へ移るとエージェントの性能が有意に落ちることも報告している。ユーザー役を「受け身の情報提供者」にした評価は、現実のサポート業務より易しく出る可能性がある。

運用では、会話ログのサンプルを人間が定期的に読み、ユーザー役の逸脱を分類して回数を記録する。逸脱が多いタスクは、エージェントのスコアから除外するのではなく、シミュレータ側の修正対象として別管理する。

大規模運用でバージョンと信頼度をどう管理するか

複数チームのスコアを比べるには、タスク集合・ユーザー役モデル・判定器のバージョンを固定し、複数トライアルでpass^kを測る必要があります。

τ-benchの原論文は、複数トライアルでの信頼性を測るpass^kを提案し、gpt-4oのような関数呼び出しエージェントでも成功率が半数に届かず、小売ドメインのpass^8が25%を下回ると報告している。顧客に直接触れるエージェントでは、平均成功率よりpass^kが実態に近い。

公開実装のREADMEは、2.0の英語版の実行が旧1.0.1と入力一致せず、2.0のスコアは1.x系のリーダーボードと比較できないと明記している。タスクの差し替えや判定LLMの変更が原因だ。社内運用でも同じ事故が起こる。

  • タスク集合は凍結し、変更時は版を上げて旧スコアと別系列にする
  • ユーザー役モデル・判定モデルの識別子とプロンプトを、スコアと同じレコードに保存する
  • 会話ログに顧客情報を含めない合成データを使い、保管期間と閲覧権限を定める
  • 大規模な組織統制はKuu RDEの設計範囲として個別に検討する

参考

まとめ

ユーザーシミュレータは評価対象の一部です。隠しタスク指示・終了条件・モデル・版を仕様として固定すれば、スコアが比較可能になります。

対話型エージェントの評価は、最終状態での採点、複数トライアルのpass^k、ユーザー役の仕様固定の3点で成立する。複数チームで評価を共有する大企業ほど、シミュレータの版管理が品質統制の要になる。評価基盤の設計はKuu株式会社にご相談ください。

関連記事

Petri 2.0——AIエージェント行動監査の自動化設計評価基準の設計法——グレーディング手法の選び方AIエージェントの完了判定設計——検証可能な終了条件の書き方評価の飽和と片側evalを防ぐ運用設計