# AIプラットフォームエンジニアリング——内製LLM基盤の設計原則

> 大企業のAI基盤は個別チームの乱立から共有プラットフォームへ移行する。LLMゲートウェイ・エージェント権限管理・コスト配賦・ガードレール・開発者セルフサービスの5構成と設計原則を解説します。

- Canonical: https://kuucorp.com/blog/ai-platform-engineering-internal-infrastructure/
- Date: 2026-06-16
- Last modified: 2026-06-16
- Publisher: Kuu株式会社 (https://kuucorp.com)

---
複数の開発チームが独自にLLM APIへ接続し、ガバナンスもなくコストも見えない状態になっている——これがエンタープライズAI導入の「フェーズ2問題」です。PoCが成功し本番展開が進むほど、チームごとに乱立した接続とコスト・リスクの不透明さが深刻になります。

この問いに答えるのが**AIプラットフォームエンジニアリング**（AI Platform Engineering）です。本記事は[AIエージェントガバナンス](/ai-governance/)の基盤設計として、内製AI共有プラットフォームの構成と原則を解説します。[LLMゲートウェイ設計](/blog/llm-gateway-routing-rate-limiting/)や[エージェント可観測性](/blog/agent-observability-tracing-instrumentation/)と合わせて参照してください。

## AIプラットフォームエンジニアリングとは何か

> 複数チームのLLM利用を一元的にガバナンスし、共有インフラとして提供するのがAIプラットフォームエンジニアリングです。

AIプラットフォームエンジニアリングは、「企業の複数の開発チームがAIシステムを一貫して開発・デプロイ・ガバナンス・スケールできるよう、再利用可能な共有AI基盤を設計・構築・運用するプラクティス」と定義されます。

従来のプラットフォームエンジニアリング（Internal Developer Platform）がCI/CDパイプラインや監視基盤を共有インフラとして提供したように、AIプラットフォームエンジニアリングはLLMアクセス・[エージェントガバナンス](/glossary/agent-governance/)・コスト管理・ガードレールを「ゴールデンパス（全チームが使う正規の導線）」として提供します。

ガートナーは2026年末までに企業アプリケーションの40%以上にタスク特化型AIエージェントが組み込まれると予測しています（2025年時点の5%未満から急増）。この基盤なしに組織全体でAIを展開しようとすると、チームごとの断片化とリスクが加速します。

## なぜチームごとのLLM接続を脱却すべきか

> チームが個別にLLM APIへ接続すると、コストの不可視化・ガバナンス不在・シャドーAI増殖の3問題が同時発生します。

各チームが独自のAPIキーを持ち、LLMへ直接接続する状態で起きる問題は構造的です。

**コストの不可視化**: 月次請求書に「誰がどのモデルを何に使ったか」が紐付かないまま費用が積み上がります。エージェントが予期しないループに入った場合、請求が届くまで気づかないこともあります。[AI FinOpsの計装](/blog/ai-finops-token-cost-instrumentation/)は接続が一元化されていないと機能しません。

**ガバナンス不在**: チームごとに異なるプロンプトインジェクション対策・PII検出・出力フィルタリングが実装（または未実装）のまま本番に出ます。ポリシー変更を一元適用できる場所がなく、監査ログも散在します。

**シャドーAI増殖**: 共有プラットフォームがなく制限も見えにくい環境では、個人契約のSaaS AIや未承認のLLMサービスが部門内に広がります。企業データがどこに渡っているか追跡できなくなります。

## 内製AI基盤の5つの構成要素はどう設計するか

> 内製AI基盤はLLMゲートウェイ・エージェント権限管理・コスト配賦・ガードレール・開発者セルフサービスの5層として設計します。

### 1. LLMゲートウェイ（Model Access & Gateway）

全LLM呼び出しを通過させる単一エントリーポイントです。認証（APIキー → サービスアカウント）・モデルルーティング・レート制限・フェイルオーバーをここで処理します。チームはゲートウェイのエンドポイントに向けるだけでよく、プロバイダー切り替えもゲートウェイ側の設定変更で済みます。VPC内に配置することでデータレジデンシー要件を満たします。

### 2. エージェント権限管理（Agent & Tool Governance）

MCPゲートウェイがエージェントのツール実行を一元制御します。エージェントIDに紐付けたRBACで「どのエージェントがどのツールを実行できるか」を宣言的に定義し、実行ログを監査証跡として保持します。[最小権限の設計](/blog/ai-agent-permission-management-design/)をゲートウェイレイヤーで強制します。

### 3. コスト配賦（Cost Governance & FinOps）

LLMゲートウェイを通過する全呼び出しにチーム・アプリケーション・環境のメタデータをタグ付けし、トークンコストをリアルタイムで部門配賦します。予算上限と閾値アラートで、エージェントの暴走コストを早期に検知します。

### 4. ガードレール（Guardrails & Compliance）

PII検出・プロンプトインジェクションフィルタリング・コンテンツポリシーをゲートウェイレイヤーで一括適用します。個々のチームが実装を担うのではなく、全ワークロードに対して一貫した保護が自動適用されます。ポリシーはコードとして管理し、変更はCI経由で全チームに即時反映します。

### 5. 開発者セルフサービス（Developer Self-Service）

チームがモデルアクセスやエージェント設定を自律的にデプロイできる自動化ワークフローです。ガバナンスはインフラレイヤーが担うため、チームは機能開発に集中できます。チケット待ちの廃止と統制の両立が設計目標です。

## マネージドサービスと内製の判断基準はどこにあるか

> データ主権・マルチテナント統制・コンプライアンス要件がある場合は内製に、スピード優先のチームはマネージドに傾きます。

内製基盤の構築コスト（エンジニアリング工数・ランニングコスト）とマネージドサービスの利用コスト（ベンダーロックイン・カスタマイズ制限）をどう評価するかは、組織のステージと要件によります。

| 判断軸 | 内製を選ぶ場合 | マネージドを選ぶ場合 |
|---|---|---|
| データ主権 | VPC内完結・データレジデンシー要件あり | クラウドプロバイダーの標準で許容 |
| チーム規模 | 50人超の開発者が複数チームでAIを使う | 5〜15人規模の単一チーム |
| コンプライアンス | HIPAA・金融規制・官公庁要件 | SOC 2/GDPR標準対応で十分 |
| カスタマイズ | 独自ルーティング・社内モデルを統合 | 標準ワークフロー中心 |
| 中長期コスト | 大量推論でAPIコストが高くなる | 推論量がまだ少ない |

チーム規模が50人を超え、コンプライアンス要件が複数あり、推論量が月間数億トークンを超える段階で内製基盤の経済性が逆転するのが一般的です。それ以前はVercel AI SDK・Azure OpenAI Service・Google Cloud Vertex AIのマネージド層を活用しながら、LLMゲートウェイのみ先行して内製するハイブリッドも有効です。

大規模エンタープライズでのAIプラットフォーム設計・実装については、[KuuのRDEサービス](https://kuucorp.com/services/rde/)にご相談ください。

## 参考

- [AI Platform Engineering: A Complete Guide for 2026 — TrueFoundry](https://www.truefoundry.com/blog/what-is-ai-platform-engineering)
- [AI Platform Engineering — Platform Engineering Organization](https://platformengineering.org/ai-platform-engineering)

## まとめ

AIプラットフォームエンジニアリングは、個別チームのLLM接続が乱立するフェーズ2問題を、共有インフラとして解決するアプローチです。LLMゲートウェイ・エージェント権限管理・コスト配賦・ガードレール・開発者セルフサービスの5層を順番に整備することで、ガバナンスをインフラレイヤーに組み込みながらチームの自律性を維持できます。

内製か否かの判断はチーム規模・データ主権要件・コンプライアンス基準の3軸で行い、LLMゲートウェイのみ先行内製するハイブリッド構成が多くの場合で実用的な出発点です。プラットフォーム設計の支援は[Kuuのエンタープライズ支援](https://kuucorp.com/services/rde/)からご連絡ください。