#可観測性
「可観測性」に関する記事一覧。Kuu株式会社のブログでは、AIエージェントガバナンスとDXの観点から 可観測性 に関連するノウハウを 3 件発信しています。
AIエージェント障害プレイブック——P0〜P3と5フェーズ対応
AIエージェントのインシデントはP0〜P3の重大度で分類し、検知・封じ込め・根絶・復旧・ポストモーテムの5フェーズで対応する。検知シグナル・キルスイッチ設計・証跡収集の技術手順を解説する。
LLM-as-a-judgeでエージェント品質を自動採点する評価基盤設計
LLM-as-a-judgeを用いてAIエージェントの品質を自動採点する方法を解説。採点ルーブリック・ゴールデンデータセット・回帰テストパイプラインの設計まで、大規模運用を前提としたエンタープライズ向け評価基盤の実装パターンを示します。
AIエージェントのトレース計装——スパン設計とLLM呼び出し追跡
OpenTelemetry GenAI規約に基づきAIエージェントのLLM呼び出しをスパン階層で追跡します。3スパン型・トークン数・停止理由・コストを標準属性として計装し、Langfuseで可視化する設計パターンを解説します。