約 3 分で読めます

回答棄権の評価設計——回答率と誤り率のしきい値比較

評価設計エージェント評価ハルシネーション検知生成AI

「自信がなければ答えない」AI機能を作ったのに、評価は全件の正答率のまま、という検証が少なくありません。棄権を入れると、分母から外れた質問の扱いで数字がいくらでも良く見えます。しきい値を決める前に、何を測るかを固定する必要があります。

検知方式(トークン確率や整合性サンプリング)はハルシネーション検知の技術比較で扱っています。本記事は、スコアが出た後のしきい値の選び方と評価の置き方に限定します。

回答棄権は何と何で評価するのか

回答棄権は、回答率(coverage)と回答した部分の誤り率(risk)の2軸で評価します。正答率1本では棄権の効果が見えません。

選択的予測(selective prediction)では、次の2つを使います。

  • coverage: 全質問のうち、実際に回答した割合
  • risk: 回答した質問の中での誤り率

しきい値を厳しくするとcoverageは下がり、riskも下がります。この関係を曲線にしたものがrisk-coverage曲線です。深層ネットワークの選択的分類を扱った Geifman と El-Yaniv の論文は、利用者が許容riskを先に指定し、それを満たすよう入力を棄権させる枠組みを示しました。

小規模検証では「許容できる誤り率を先に決め、その条件でcoverageがいくつ残るか」を見ます。coverageが業務上使えない水準まで落ちるなら、棄権の仕組みでは足りず、モデルや検索の改善が先です。

しきい値はどのデータで決めるのか

しきい値は学習用・決定用・評価用の3つに分けたデータで決めます。同じ質問で決めて同じ質問で測ると、誤り率は実際より低く出ます。

Phillips らの論文(2026年3月)は、1,000問を学習・キャリブレーション・テストに70:15:15で分け、しきい値はキャリブレーション側で「回答分の誤り率が目標以下になる最大のしきい値」として決めています。テスト側は決めた後に一度だけ測ります。

自社の検証に置き換えると、次の手順になります。

  1. 質問と正解(または正誤ラベル)を集め、3分割する
  2. 決定用データでスコア順に並べ、目標riskを満たす最大のしきい値を探す
  3. そのしきい値を固定し、評価用データでcoverageとriskを測る
  4. 評価用データの実測riskが目標を超えたら、しきい値を再決定せず、データ量か信頼度の指標を見直す

同論文の著者自身が、この手法に統計的な保証(conformal validity)は主張していないと述べています。数百問程度では誤差が大きく、結果は「その検証セットでの値」として扱います。

保留した質問をどう数えるか

棄権した質問は「正解でも誤りでもない」扱いにせず、保留件数と後工程の処理コストを別に記録します。

棄権を分母から外すだけだと、riskは見かけ上ずっと下がります。次の3つを分けて記録します。

  • 回答した質問: coverageとriskの対象
  • 知識不足による棄権: 本来は答えられたかもしれない質問。人への引き継ぎ件数として数える
  • 安全ポリシー上の拒否: 内容を理由に答えない質問。信頼度のしきい値とは別の仕組みなので、risk-coverageには混ぜない

また、棄権した質問のうち「元々モデルが誤答していた割合」も確認します。Zhang らの論文(2026年10月)は、リスクを「答える力」と「棄権で誤答を見分ける力」に分解して比較しており、棄権の質は後者で測れます。保留しても元々正解だった質問が多いなら、人手の負担だけが増えています。

論文の数値を自社へ持ち込む際の注意

論文の改善値は、そのモデル・言語・質問形式での結果です。日本語の業務データへそのまま転用できません。

確認済みの条件を整理します。

  • Phillips らは、TriviaQA・BioASQ・MedicalQAの短い質問応答を、3B〜8B規模の4モデル系列で評価しています。長文生成や多段の業務は未検証と著者が述べています
  • 内部の隠れ状態を使うプローブ方式は、モデルの重みに触れる環境が前提です。API経由では使えない可能性があります
  • Zhang らは、3つのLLMと3つの事実QAで、同じ回答率のとき既存の棄権学習法より平均riskが1.5〜9.4ポイント低いと報告しています。ただし条件はそのデータセットに限られます

自社の検証では、論文の手順(3分割、目標risk指定)だけを借り、数値は自社データで測り直します。導入支援が必要な場合はAI導入の伴走支援も利用できます。

参考

まとめ

回答棄権の評価は、目標riskを先に決め、3分割したデータでcoverageを測る手順に尽きます。

正答率だけで棄権を評価せず、coverageとriskの曲線でしきい値を選び、保留と拒否は別に数えます。小規模な検証から始めたい場合は、Kuu株式会社のAI導入伴走サービスへご相談ください。

関連記事

ユーザー役LLMの設計——マルチターン評価の忠実度と版管理メタモルフィックテストの変換妥当性ゲート設計音声認識のWERは正規化ルールで変わる評価データセットの個人情報管理——本番トレース由来eval設計