#回帰テスト
「回帰テスト」に関する記事一覧。Kuu株式会社のブログでは、AIエージェントガバナンスとDXの観点から 回帰テスト に関連するノウハウを 5 件発信しています。
録画再生でLLMエージェントの回帰テストを固定する
LLM API呼び出しはvcrpyの録画再生で固定でき、CIの回帰テストを課金ゼロ・決定的にできます。record_mode四種の使い分けと機密除去、body照合の落とし穴を整理します。
メタモルフィックテストの変換妥当性ゲート設計
メタモルフィックテストは、変換が正解ラベルを変えていないかの検証が要です。変換器起因の偽陽性、NLI検証、台帳と人手確認の三段ゲートを論文の数値で整理します。
評価の飽和と片側evalを防ぐ運用設計
エージェント評価が飽和すると改善が見えなくなる。Anthropicの指針をもとに、能力evalと回帰evalの分離、両側テスト、卒業基準、所有体制の設計を整理します。
CI負荷25倍時代のTest Impact Analysis設計
AnthropicはAIコーディングでCI負荷が6か月で25倍に増えた課題をTest Impact Analysisで解決しました。listener/selector構成への刷新手順を解説します。
ゴールデンデータセットで始めるエージェント回帰テスト設計
AIエージェントの回帰テストをゴールデンデータセットで自動化する手法を解説。Anthropicが推奨する50〜200件のテストセット構築、pass@k指標、CIパイプライン統合まで解説します。
