受注処理を担うAIエージェントが、誤った宛先に見積書を一括送信した。承認プロセスを経ないまま発注が確定した。こうした事故の原因は「AIを入れたこと」ではなく、人間が介入すべき場面を設計しなかったことにある。
エージェントガバナンスにおいて、「どこで人間が判断を引き受けるか」を決める設計がリスク管理の核心だ。ヒューマン・イン・ザ・ループ（Human-in-the-Loop、以下HITL）は、その設計を具体化する手法として製造・金融・物流など多くの業種で採用されている。本稿では、中小企業のIT担当者・管理職がすぐに着手できる5つのHITLパターンとその優先順位を解説する。
ヒューマン・イン・ザ・ループとは何か
HITLとは、AIエージェントの自律処理に人間の承認ステップを挿入し、誤判断による損害を防ぐガバナンス手法です。
AIエージェントが自律的に動くほど処理速度は向上する。しかし、誤った行動が後戻りできない形で進行する速度も同様に上がる。HITLはこのトレードオフを調整し、「動かせるが制御できる」状態を維持するための設計思想だ。
完全自律とHITLの本質的な違いは、責任の所在にある。完全自律では目標を与えれば人間の介入なしに最初から最後まで実行され、問題が発生したとき原因究明が困難になる。HITLでは処理の特定フェーズで人間の確認・承認・修正を必須とするため、判断の根拠が記録に残る。
2026年時点で多くの中小企業に推奨されるのは「部分的HITL」——日常的タスクは自律、高リスク・高影響な判断は人間が関与するモデルだ。これにより自動化のメリットを維持しながら、致命的なミスを回避できる。
5つの実装パターン
HITLの実装は承認フロー・例外検知・ロールバック・サンプリング監査・停止トリガーの5パターンに整理できます。
パターン1：承認フロー型
エージェントがアクション実行前に担当者へ承認リクエストを送る、最もシンプルな形態だ。「契約金額が50万円を超える発注は経営者承認を必須とする」など、ルールベースで発動する。Slackやメール通知と組み合わせることで、外出中でもモバイルから承認できる。
承認フローの設計では「承認が必要なトリガー条件」と「タイムアウト時の挙動（自動キャンセルか自動承認か）」の2点を事前に定義することが重要だ。KuuのAIオペレーション支援では、この承認フローをノーコードで構築する支援を行っている。
パターン2：例外検知型
エージェントの出力や中間状態が事前定義の閾値を超えた場合に、人間へアラートを飛ばして処理を一時停止する。「返信メールの感情スコアが閾値を下回ったら送信前に確認を求める」「生成された文書が規定文字数を超えたらレビューを挟む」などが典型例だ。閾値設定にはドメイン知識が必要だが、一度整備すれば誤送信・誤操作の大半を事前に捕捉できる。
パターン3：ロールバック要求型
エージェントが実行した処理について、一定時間内であれば担当者が取り消せる「待機期間」を設ける。「発注確定から2時間以内はキャンセル可能」「カレンダー予約は翌日09:00まで取り消し可能」などのルールが該当する。完全な自律実行と承認フローの中間に位置する、現実的な選択肢のひとつだ。
パターン4：サンプリング監査型
全件承認が工数的に現実的でない業務に有効なパターンだ。エージェントの処理結果をランダムまたは条件抽出でサンプリングし、週次・月次で人間がレビューする。問題が見つかれば閾値やプロンプトを修正するサイクルと組み合わせることで、精度の向上と工数の抑制を両立できる。月1回・10件のサンプリングから始めても十分な効果が得られる。
パターン5：停止トリガー型
特定のキーワード・金額・相手先が検出された場合に、エージェントを即座に停止させる。競合他社名が含まれるメール草案、法務文書への署名リクエスト、規定を超える金額の送金指示など「絶対に自動実行してはいけない」操作を明示的に定義する。停止後の再開は人間の明示的な指示のみで行うことが原則だ。
中小企業における優先順位の付け方
リスクが大きく頻度の高い業務から始め、承認フロー型と停止トリガー型を先行導入するのが中小企業に最適な進め方です。
まず「AIエージェントが誤作動した場合に最も大きな損害が発生する業務」を3つ洗い出す。次にその業務にパターン1（承認フロー型）またはパターン5（停止トリガー型）を適用し、実際の運用データをもとに閾値を調整する。この反復がエージェントガバナンス体制の実質的な強化につながる。
導入初期は確認ステップの分だけ工数が増えるように見える。しかし1件の誤送信・誤発注が引き起こす対応コストと比較すれば、HITLへの初期投資は短期間で回収できる。全社に展開する前に、まず1業務で試行して効果を定量化することを推奨する。
まとめ
AIエージェントの自律化と安全性は対立しない。HITLを設計に組み込めば、処理速度を維持しながら誤判断リスクを管理できる。5つのパターン（承認フロー、例外検知、ロールバック要求、サンプリング監査、停止トリガー）を業務のリスク評価に基づいて組み合わせることが現実的な第一歩だ。
HITL設計の具体的な実装支援やガバナンスフレームワークの構築については、Kuu株式会社のAIオペレーション支援に問い合わせてほしい。自社のAIエージェント環境に合わせた設計を一緒に進める。