# 回答棄権の評価設計——回答率と誤り率のしきい値比較

> 回答棄権のしきい値は回答率（coverage）と回答分の誤り率（risk）の曲線で選びます。学習・しきい値決定・評価の3分割と、保留例の扱いを小規模検証向けに整理します。

- Canonical: https://kuucorp.com/blog/selective-answering-risk-coverage-threshold-eval/
- Date: 2026-11-14
- Last modified: 2026-11-14
- Publisher: Kuu株式会社 (https://kuucorp.com)

---
「自信がなければ答えない」AI機能を作ったのに、評価は全件の正答率のまま、という検証が少なくありません。棄権を入れると、分母から外れた質問の扱いで数字がいくらでも良く見えます。しきい値を決める前に、何を測るかを固定する必要があります。

検知方式（トークン確率や整合性サンプリング）は[ハルシネーション検知の技術比較](/blog/agent-hallucination-detection-techniques/)で扱っています。本記事は、スコアが出た後の**しきい値の選び方と評価の置き方**に限定します。

## 回答棄権は何と何で評価するのか

> 回答棄権は、回答率（coverage）と回答した部分の誤り率（risk）の2軸で評価します。正答率1本では棄権の効果が見えません。

選択的予測（selective prediction）では、次の2つを使います。

- **coverage**: 全質問のうち、実際に回答した割合
- **risk**: 回答した質問の中での誤り率

しきい値を厳しくするとcoverageは下がり、riskも下がります。この関係を曲線にしたものがrisk-coverage曲線です。深層ネットワークの選択的分類を扱った Geifman と El-Yaniv の論文は、利用者が許容riskを先に指定し、それを満たすよう入力を棄権させる枠組みを示しました。

小規模検証では「許容できる誤り率を先に決め、その条件でcoverageがいくつ残るか」を見ます。coverageが業務上使えない水準まで落ちるなら、棄権の仕組みでは足りず、モデルや検索の改善が先です。

## しきい値はどのデータで決めるのか

> しきい値は学習用・決定用・評価用の3つに分けたデータで決めます。同じ質問で決めて同じ質問で測ると、誤り率は実際より低く出ます。

Phillips らの論文（2026年3月）は、1,000問を学習・キャリブレーション・テストに70:15:15で分け、しきい値はキャリブレーション側で「回答分の誤り率が目標以下になる最大のしきい値」として決めています。テスト側は決めた後に一度だけ測ります。

自社の検証に置き換えると、次の手順になります。

1. 質問と正解（または正誤ラベル）を集め、3分割する
2. 決定用データでスコア順に並べ、目標riskを満たす最大のしきい値を探す
3. そのしきい値を固定し、評価用データでcoverageとriskを測る
4. 評価用データの実測riskが目標を超えたら、しきい値を再決定せず、データ量か信頼度の指標を見直す

同論文の著者自身が、この手法に統計的な保証（conformal validity）は主張していないと述べています。数百問程度では誤差が大きく、結果は「その検証セットでの値」として扱います。

## 保留した質問をどう数えるか

> 棄権した質問は「正解でも誤りでもない」扱いにせず、保留件数と後工程の処理コストを別に記録します。

棄権を分母から外すだけだと、riskは見かけ上ずっと下がります。次の3つを分けて記録します。

- **回答した質問**: coverageとriskの対象
- **知識不足による棄権**: 本来は答えられたかもしれない質問。人への引き継ぎ件数として数える
- **安全ポリシー上の拒否**: 内容を理由に答えない質問。信頼度のしきい値とは別の仕組みなので、risk-coverageには混ぜない

また、棄権した質問のうち「元々モデルが誤答していた割合」も確認します。Zhang らの論文（2026年10月）は、リスクを「答える力」と「棄権で誤答を見分ける力」に分解して比較しており、棄権の質は後者で測れます。保留しても元々正解だった質問が多いなら、人手の負担だけが増えています。

## 論文の数値を自社へ持ち込む際の注意

> 論文の改善値は、そのモデル・言語・質問形式での結果です。日本語の業務データへそのまま転用できません。

確認済みの条件を整理します。

- Phillips らは、TriviaQA・BioASQ・MedicalQAの短い質問応答を、3B〜8B規模の4モデル系列で評価しています。長文生成や多段の業務は未検証と著者が述べています
- 内部の隠れ状態を使うプローブ方式は、モデルの重みに触れる環境が前提です。API経由では使えない可能性があります
- Zhang らは、3つのLLMと3つの事実QAで、同じ回答率のとき既存の棄権学習法より平均riskが1.5〜9.4ポイント低いと報告しています。ただし条件はそのデータセットに限られます

自社の検証では、論文の手順（3分割、目標risk指定）だけを借り、数値は自社データで測り直します。導入支援が必要な場合は[AI導入の伴走支援](https://kuucorp.com/services/ai-ops/)も利用できます。

## 参考

- [Selective Classification for Deep Neural Networks（Geifman・El-Yaniv）](https://arxiv.org/abs/1705.08500)
- [Entropy Alone is Insufficient for Safe Selective Prediction in LLMs](https://arxiv.org/abs/2603.21172)
- [Strong yet Controllable LLM Abstention without Learning to Abstain](https://arxiv.org/abs/2610.16318)

## まとめ

> 回答棄権の評価は、目標riskを先に決め、3分割したデータでcoverageを測る手順に尽きます。

正答率だけで棄権を評価せず、coverageとriskの曲線でしきい値を選び、保留と拒否は別に数えます。小規模な検証から始めたい場合は、Kuu株式会社の[AI導入伴走サービス](https://kuucorp.com/services/ai-ops/)へご相談ください。
