#プラットフォーム設計
「プラットフォーム設計」に関する記事一覧。Kuu株式会社のブログでは、AIエージェントガバナンスとDXの観点から プラットフォーム設計 に関連するノウハウを 4 件発信しています。
セルフホストLLM推論スタック——vLLM/SGLang選定
自社ホスティングのLLM推論エンジンはvLLMとSGLangが2026年の標準選択肢。RadixAttentionはプレフィックス再利用でキャッシュヒット率50〜99%を達成する。テンソル並列とKVキャッシュ設計の判断基準を解説する。
エージェントのセマンティックキャッシュ——LLMコスト削減設計
クエリ埋め込みの類似検索でLLMコールをスキップするセマンティックキャッシュは、応答3〜8msとコスト30〜70%削減を実現する。プロンプトキャッシュとの違い・類似度閾値・TTL設計を解説する。
LLM APIレート制限の対処設計——中小企業向け実装パターン
AnthropicのAPIにはTier別のTPM/RPM上限があり、超過するとHTTP 429が返る。中小企業が本番環境でLLMレート制限に対処するための指数バックオフ・優先キュー・バッチの3実装パターンを解説する。
Claude APIワークスペース設計——チーム分離・コスト管理・鍵なし認証
Claude API WorkspacesでAPIキーをチーム・環境別に分離し、Workload Identity Federationで静的キーを不要にする。2026年6月GA対応の設計パターンと実装例を解説します。