約 3 分で読めます

評価データセットの個人情報管理——本番トレース由来eval設計

本番エージェントの失敗を評価タスクに変える運用は、評価の網羅性を上げる一方で、顧客の個人データを含むトレースを評価基盤へ複製する経路を作ります。評価データセットは「テスト資産」であると同時に「個人データの新しい保管場所」です。複数チームが共有する大規模環境では、この二面性を設計に織り込まないと、評価基盤が最大の漏えい面になります。

なぜ本番トレース由来のevalは個人データの管理対象になるのか

本番トレース由来のevalは、顧客入力と応答を丸ごと保存した個人データの複製です。Anthropicは実失敗からの評価作成を推奨しますが、データ取扱いには触れていません。

Anthropicのエンジニアリング記事は、バグトラッカーやサポートキューの失敗をテストケースに変換し、まず20〜50件の実失敗から始めることを勧めています。一方で同記事は、個人情報の匿名化・同意・保持には言及していません。ここは各社が自前で設計する領域です。

個人情報保護委員会の注意喚起(2023年6月2日)は、個人情報取扱事業者が生成AIサービスに個人情報を含むプロンプトを入力する際、特定された利用目的の達成に必要な範囲内か十分に確認するよう求めています。評価実行は、本番とは別の目的でプロンプトを再投入する行為です。利用目的の範囲に収まるか、法務と事前に整理が必要です。

評価パイプラインのどこで個人データを落とすべきか

個人データは取り込み時点で落とすのが原則です。評価セットへの保存後に消す設計は、複製・キャッシュ・ログに残るため、実質的に回収できません。

推奨する3段のゲートです。

  1. 収集ゲート: トレース抽出時に、評価に必要なフィールド(ツール呼び出し列、期待結果、失敗区分)だけをホワイトリストで取り込む。自由記述はデフォルトで除外する。
  2. 変換ゲート: 氏名・連絡先・口座などを型付きプレースホルダ(<PERSON_1> 等)に置換する。同一人物の参照関係は保ち、マルチターンの整合性を壊さない。
  3. 検証ゲート: 変換後のデータセットに対し、PII検出を機械的に走らせ、検出ゼロを評価セット登録の条件にする。

NIST AI 600-1は、生成物にPIIや機微情報が含まれるかを検出する手法の活用(MP-4.1-009)を挙げています。この発想は、評価入力側のデータセットにもそのまま適用できます。

置換で評価の妥当性は壊れないのか

置換は評価の妥当性を損ねる場合があります。形式が重要なタスクは合成データへの置き換えが有効で、置換前後で採点が変わらないかを検証します。

住所の書式や口座番号の桁数など、形式そのものが失敗原因のタスクでは、単純なマスキングが再現性を壊します。この場合は同じ形式の合成値に差し替えます。置換の妥当性は、少数のタスクで「置換前(隔離環境)」と「置換後」の採点を比較して確認します。差が出るタスクは、評価セットから外すか合成データで作り直します。

保持・アクセス・共有はどう統制するか

評価セットにはデータ区分・保持期限・閲覧権限を付けます。NIST AI 600-1は、TEVV履歴の保持方針(GV-1.5-003)を求めています。

  • データ区分: 各タスクに出自(本番由来・合成・公開)と加工状態をメタデータで記録する。
  • 保持期限: 生トレースは短期で削除し、置換済みセットのみ長期保持する。削除対象には評価ログとトランスクリプトを含める。
  • アクセス: 生トレースの閲覧は少人数に限定し、置換済みセットと権限を分離する。
  • 外部送信: 評価実行やLLM-as-a-judge採点で外部モデルAPIに送る場合、提供事業者が個人データを機械学習に利用しないことを確認する。個人情報保護委員会の注意喚起も、この確認を求めています。

トランスクリプトの読み込みは評価の品質に不可欠ですが、読む人が増えるほど露出も増えます。レビューは置換済みデータに対してのみ行う運用にします。

参考

まとめ

評価データセットは個人データの保管場所でもあります。取り込み・置換・検証の3段ゲートと、区分・保持・権限の統制をセットで設計してください。個人情報保護法上の判断は、事案ごとに法務・専門家の確認が必要です。大規模環境での評価基盤とガバナンスの設計は、AI変革プログラムRDEでご相談いただけます。

関連記事

ユーザー役LLMの設計——マルチターン評価の忠実度と版管理メタモルフィックテストの変換妥当性ゲート設計回答棄権の評価設計——回答率と誤り率のしきい値比較音声認識のWERは正規化ルールで変わる