# AIレッドチーミング

> AIレッドチーミングは、攻撃者・悪意あるユーザの視点でAIシステムに意図的な攻撃・誘導を仕掛け、プロンプトインジェクション・データ漏洩・差別的出力・脱獄 (jailbreak) 等の脆弱性を洗い出す手法です。サイバーセキュリティのレッドチーム演習をAI向けに拡張した概念で、EU AI Act や ISO/IEC 42001 の高リスク用途では実施が事実上求められます。

- Canonical: https://kuucorp.com/glossary/ai-red-teaming/
- Publisher: Kuu株式会社 (https://kuucorp.com)

---
## 概念

AIレッドチーミングは、AIエージェントや生成AIに対して「攻撃者になった気持ち」で意図的な攻撃・誘導を仕掛け、実運用前に脆弱性を洗い出すテスト手法です。サイバーセキュリティのレッドチーム演習を、AIの確率的動作・プロンプトベース性に合わせて拡張したものと位置づけられます。

## 主なテスト観点

- **プロンプトインジェクション**: 悪意ある入力で指示を上書きされる脆弱性
- **Jailbreak (脱獄)**: 安全ポリシーを回避させる誘導
- **データ抽出**: 学習データ・システムプロンプト・他ユーザ情報の窃取
- **ハルシネーション誘発**: 誤情報を自信を持って出力させる
- **差別・バイアス**: 人種・性別・宗教・年齢による不適切な出力
- **有害コンテンツ**: 暴力・違法行為・自傷行為を助長する出力

## 中小企業での必要性

全企業で大規模実施が必要というわけではなく、以下の業種・用途では必須と考えたほうが良いです。

- 顧客接点で AI を使う (カスタマーサポート・EC・Web問い合わせ)
- 採用・信用判定・医療に関わる意思決定支援
- 機密情報 (営業秘密・個人情報・知財) を扱うエージェント
- EU AI Act の「高リスク」分類に該当する可能性がある用途

## 実施パターン

- 内製チーム (セキュリティ担当 + 業務担当): 軽量・継続的
- 専門ベンダ委託: 高リスク用途向け・年次
- 自動化ツール: Garak, PromptInject, 社内CI統合

## 頻度の目安

- 新規エージェント本番稼働前: 必須
- 運用中: 四半期〜半年ごと、モデル大型更新時
- インシデント発生時: 緊急実施

## 関連する規制

- EU AI Act: 高リスクAIで実施が要求される
- ISO/IEC 42001: リスクアセスメントの一環として記述される
- NIST AI RMF: 推奨プラクティスとして明示

## Kuuのアプローチ

Kuuは Managed Agents 契約内で、導入時・四半期ごとの軽量レッドチーミングを標準メニューとしています。高リスク用途向けの大規模テストは外部専門ベンダと協業で対応します。

関連する考え方は [エージェントガバナンス](/ai-governance/) と [AI-BCP](/glossary/ai-bcp/) も参照してください。