「自信がなければ答えない」AI機能を作ったのに、評価は全件の正答率のまま、という検証が少なくありません。棄権を入れると、分母から外れた質問の扱いで数字がいくらでも良く見えます。しきい値を決める前に、何を測るかを固定する必要があります。
検知方式(トークン確率や整合性サンプリング)はハルシネーション検知の技術比較で扱っています。本記事は、スコアが出た後のしきい値の選び方と評価の置き方に限定します。
回答棄権は何と何で評価するのか
回答棄権は、回答率(coverage)と回答した部分の誤り率(risk)の2軸で評価します。正答率1本では棄権の効果が見えません。
選択的予測(selective prediction)では、次の2つを使います。
- coverage: 全質問のうち、実際に回答した割合
- risk: 回答した質問の中での誤り率
しきい値を厳しくするとcoverageは下がり、riskも下がります。この関係を曲線にしたものがrisk-coverage曲線です。深層ネットワークの選択的分類を扱った Geifman と El-Yaniv の論文は、利用者が許容riskを先に指定し、それを満たすよう入力を棄権させる枠組みを示しました。
小規模検証では「許容できる誤り率を先に決め、その条件でcoverageがいくつ残るか」を見ます。coverageが業務上使えない水準まで落ちるなら、棄権の仕組みでは足りず、モデルや検索の改善が先です。
しきい値はどのデータで決めるのか
しきい値は学習用・決定用・評価用の3つに分けたデータで決めます。同じ質問で決めて同じ質問で測ると、誤り率は実際より低く出ます。
Phillips らの論文(2026年3月)は、1,000問を学習・キャリブレーション・テストに70:15:15で分け、しきい値はキャリブレーション側で「回答分の誤り率が目標以下になる最大のしきい値」として決めています。テスト側は決めた後に一度だけ測ります。
自社の検証に置き換えると、次の手順になります。
- 質問と正解(または正誤ラベル)を集め、3分割する
- 決定用データでスコア順に並べ、目標riskを満たす最大のしきい値を探す
- そのしきい値を固定し、評価用データでcoverageとriskを測る
- 評価用データの実測riskが目標を超えたら、しきい値を再決定せず、データ量か信頼度の指標を見直す
同論文の著者自身が、この手法に統計的な保証(conformal validity)は主張していないと述べています。数百問程度では誤差が大きく、結果は「その検証セットでの値」として扱います。
保留した質問をどう数えるか
棄権した質問は「正解でも誤りでもない」扱いにせず、保留件数と後工程の処理コストを別に記録します。
棄権を分母から外すだけだと、riskは見かけ上ずっと下がります。次の3つを分けて記録します。
- 回答した質問: coverageとriskの対象
- 知識不足による棄権: 本来は答えられたかもしれない質問。人への引き継ぎ件数として数える
- 安全ポリシー上の拒否: 内容を理由に答えない質問。信頼度のしきい値とは別の仕組みなので、risk-coverageには混ぜない
また、棄権した質問のうち「元々モデルが誤答していた割合」も確認します。Zhang らの論文(2026年10月)は、リスクを「答える力」と「棄権で誤答を見分ける力」に分解して比較しており、棄権の質は後者で測れます。保留しても元々正解だった質問が多いなら、人手の負担だけが増えています。
論文の数値を自社へ持ち込む際の注意
論文の改善値は、そのモデル・言語・質問形式での結果です。日本語の業務データへそのまま転用できません。
確認済みの条件を整理します。
- Phillips らは、TriviaQA・BioASQ・MedicalQAの短い質問応答を、3B〜8B規模の4モデル系列で評価しています。長文生成や多段の業務は未検証と著者が述べています
- 内部の隠れ状態を使うプローブ方式は、モデルの重みに触れる環境が前提です。API経由では使えない可能性があります
- Zhang らは、3つのLLMと3つの事実QAで、同じ回答率のとき既存の棄権学習法より平均riskが1.5〜9.4ポイント低いと報告しています。ただし条件はそのデータセットに限られます
自社の検証では、論文の手順(3分割、目標risk指定)だけを借り、数値は自社データで測り直します。導入支援が必要な場合はAI導入の伴走支援も利用できます。
参考
- Selective Classification for Deep Neural Networks(Geifman・El-Yaniv)
- Entropy Alone is Insufficient for Safe Selective Prediction in LLMs
- Strong yet Controllable LLM Abstention without Learning to Abstain
まとめ
回答棄権の評価は、目標riskを先に決め、3分割したデータでcoverageを測る手順に尽きます。
正答率だけで棄権を評価せず、coverageとriskの曲線でしきい値を選び、保留と拒否は別に数えます。小規模な検証から始めたい場合は、Kuu株式会社のAI導入伴走サービスへご相談ください。
