LLMジャッジのスコアが安定しているのに、現場からは品質クレームが減らない——この状況は、LLMジャッジのキャリブレーションそのものより手前、キャリブレーションの原資となる人手ラベルの設計不備で起きることが多い。1人が付けたラベルをゴールドセットとして使い続けているチームでは、ラベル自体の曖昧さがジャッジのスコアに静かに転写される。
本記事はAIエージェントガバナンスの評価レイヤーのうち、ラベリング体制とアノテーター間一致度（IAA: Inter-Annotator Agreement）指標の選び方を扱う。9軸評価や評価フレームワーク選定と合わせて、評価パイプラインの土台部分として参照してほしい。
なぜラベリング体制の設計がエージェント評価の土台になるのか
人手ラベルはLLMジャッジ較正の原資であり、体制が甘いと較正自体の信頼性が崩れます。
Anthropicのエージェント評価ガイドは、グレーダーをコードベース・モデルベース・人手の3種に分類する。コードベースは「高速・安価・客観的だが妥当な変化形に弱い」、モデルベースは柔軟だが非決定的で較正が要る、人手は「ゴールドスタンダードだが高価で遅い」ため較正とスポットチェックに限定して使うべきだとされる。この位置づけこそが重要だ。人手ラベルは希少で高価な資源だからこそ、誰が・何人で・どの基準でラベル付けするかという体制設計を省略すると、上位2種のグレーダー全体の信頼性が土台から崩れる。
アノテーター間一致度（IAA）指標はタスク特性でどう選ぶか
二値・順序尺度はCohen's κ、3名以上はFleiss' κやKrippendorff's α、スパン検出はF1で計測します。
IAA指標の選定手法を整理した研究（arXiv 2603.06865）は、タスクの型ごとに適切な指標が異なると指摘する。
- カテゴリカルデータ: 2名の評価者ならCohen's κ、3名以上ならFleiss' κ（各項目の評価数が揃っている前提）、評価者数や欠測値の扱いに柔軟性が必要ならKrippendorff's α、クラス不均衡が強い場合はGwet's AC1/AC2が適する
- スパン検出（固有表現抽出などの構造化アノテーション）: F1やDice係数
- 連続値の評定: 級内相関係数（ICC）
同研究は「固定された解釈しきい値は、複雑・主観的なタスクには過度に硬直的」と釘を刺し、単一のκ値だけを追うのではなく信頼区間を併記し、アノテーターの背景・訓練手順を文書化することを推奨する。一致度が低いこと自体は失敗ではなく、ルーブリックまたはタスク定義の曖昧さを検出するシグナルとして扱うべきだ。
ラベリングワークフローはどう設計するか
コードベース・モデルベース・人手の三層でグレーダーを使い分け、人手は較正用ゴールドセットに集中投下します。
platform.claude.comの評価ドキュメントは、コードベース採点（完全一致・埋め込み類似度・ROUGE-L）を客観的で大量処理向きのタスクに、モデルベース採点（Likertスケール・二値判定・順序尺度）を曖昧な質的判断に割り当てる設計を示す。ここで重要な原則が、採点に使うモデルは生成モデルと別系統にすることだ。同一ファミリーのモデルを評価者に使うと自己優遇バイアスが混入しやすい。
人手ラベリングは、この三層構造の中で最も高価な資源として位置づける。実務上は次の手順が機能する。
- 実際の失敗トレースから少量のゴールドセットを作る（Anthropicは初期評価について「実際の失敗から集めた20〜50件の単純なタスクから始めるとよい」としており、ラベリング体制の立ち上げにも同じ原則が使える）
- 1件を2〜3名で重複ラベリングし、IAAを算出する
- 一致度が低い項目を洗い出し、ルーブリックの文言を修正する
- 改訂後のルーブリックで再度サンプリングし、IAAが改善したかを確認する
多次元の判断基準を1人のアノテーターに一度に評価させると認知負荷が上がり一致度が下がりやすい。Anthropicが「グレーディングは軸ごとに独立したジャッジで行うべき」としているのと同じ理由で、人手ラベリングも評価軸ごとにパスを分けるとIAAが安定しやすい。
不一致の分析はどうルーブリック改善につなげるか
不一致は測定誤差ではなくルーブリックの曖昧さのシグナルであり、成功基準の定量化で解消します。
platform.claude.comは成功基準を定性的な言葉のまま残さず、数値で定量化することを推奨している。「安全な出力」ではなく「1万試行中、コンテンツフィルタでトキシックと判定される割合が0.1%未満」といった具合だ。アノテーター間の不一致が頻発する項目は、多くの場合この定量化が不十分なまま人間の主観的判断に委ねられている。
不一致サンプルを多数決で機械的に処理して隠してしまうと、同じ曖昧さが本番のLLMジャッジ較正にもそのまま持ち込まれる。不一致のパターン（どの評価軸で割れているか、どのアノテーター間で割れているか）を分析ログとして残し、ルーブリック改訂の入力データとして扱う設計が、評価パイプライン全体の信頼性を底上げする。
参考
- Demystifying evals for AI agents | Anthropic
- Define success criteria and build evaluations | Claude Platform Docs
- Counting on Consensus: Selecting the Right Inter-annotator Agreement Metric for NLP Annotation and Evaluation | arXiv
まとめ
LLMジャッジのスコアやルーブリックの精緻さばかりに注目が集まりがちだが、その土台にある人手ラベリングの体制——何人で重複させるか、どのIAA指標で検証するか、不一致をどうルーブリックへ還元するか——を設計しなければ、較正済みと称するジャッジも実は曖昧な基準の上に立っている。IAAはタスクの型で使い分け、しきい値の単一数値に頼らず不一致の分析を継続することが、評価パイプライン全体の信頼性を左右する。
エージェント評価基盤のラベリング体制設計・IAA計測の導入については、Kuu RDE（Reinvention Deployed Engineering）にお問い合わせください。