社内ナレッジ検索を支える埋め込みモデルを互換性のない新モデルへ移行するとき、コーパス全体の再埋め込みが必要になる。複数チームのエージェントが同じ検索基盤を共有している大規模環境では、停止もリコール劣化も許されない。移行を「更新」ではなく「並行稼働と切替」として設計するのが要点だ。
互換性のない埋め込みモデルへ移行するには何が必要か
互換性のない埋め込みモデルへ移行する場合は、文書を再埋め込みして新しいインデックスを構築します。
互換性のないモデルへ変えると、同じ文書でも出力ベクトルの意味空間が変わる。この場合、旧ベクトルのまま新モデルでクエリを埋め込んでも、類似度は意味を持たない。次元数も揃うとは限らない。Anthropic の公式ガイドが挙げる Voyage AI の最新世代は、voyage-4 系の既定が1024次元、voyage-4-nano は2048次元だ。
一方、Voyage の公式資料では voyage-4-large / voyage-4 / voyage-4-lite / voyage-4-nano は埋め込み空間を共有する。例えば voyage-4-large で埋め込んだ文書を、voyage-4-lite で埋め込んだクエリで検索できる。この系列内でクエリ用モデルを切り替える際は、出力次元などの設定を整合させれば、文書の再埋め込みは必須ではない。ただし検索品質は切替前に評価する。
以降の二重インデックス手順は、互換性のないモデルへの移行を対象とする。クエリ側と文書側は、同一モデルまたは公式に互換性が明示されたモデルの組み合わせを使う。Voyage AI の検索用途では、文書を input_type="document"、検索クエリを input_type="query" と役割別に指定し、省略しない。両側を同じ input_type の値に揃えるものではない。
二重インデックスで無停止切替するにはどう設計するか
旧インデックスを稼働させたまま新インデックスを別系統で構築し、検証後にエイリアスで一括切替します。ロールバックも同じ操作で戻せます。
手順は5段階で組む。
- 新インデックス作成: 新モデルの次元数に合わせたスキーマで別名のインデックスを用意する。
- 二重書き込み: 以降の更新は旧・新の両方に書く。再埋め込み中に増えた文書の取りこぼしを防ぐ。
- バックフィル: 既存文書を新モデルで再埋め込みして投入する。レート制限を考慮し、バッチとチェックポイントで再開可能にする。
- シャドー評価: 本番クエリを新インデックスにも流し、旧との検索結果を比較する。ゴールデンデータセットでの回帰テストと併用する。
- 切替: 参照先をエイリアスで付け替える。
Elastic の公式ドキュメントは、エイリアスAPIで複数の操作を単一のアトミックな操作として実行でき、切替中にエイリアスが両方のインデックスを同時に指すことはないと説明している。エイリアスはreindexを無停止で行う用途にも挙げられている。アプリケーション側は物理インデックス名を直接参照せず、必ずエイリアス経由にしておく。
pgvectorを使う場合に何に注意すべきか
pgvectorのHNSWインデックスは、vector型で2,000次元、halfvec型で4,000次元までが上限です。次元数の選択が移行計画を左右します。
pgvector の公式READMEによると、HNSW でインデックスできるのは vector で最大2,000次元、halfvec で最大4,000次元だ。Voyage の最新世代は 2048 次元も選べるが、そのままでは vector 型のHNSWに載らない。出力次元を1024や512に落とすか、halfvec を使う判断が要る。
本番ではインデックス作成に CREATE INDEX CONCURRENTLY を使い、書き込みを止めない。また近似インデックスではフィルタが検索後に適用されるため、テナントや権限で絞り込むと件数が減る。README は反復インデックススキャンの有効化を案内している。切替前に権限フィルタ付きクエリでリコールを確認する。
エンタープライズで統制すべき項目は何か
文書側・クエリ側それぞれのモデル、次元、input_typeを世代台帳に記録し、検索設定を監査可能にします。
- 世代台帳: インデックスごとに文書側とクエリ側のモデル名・次元・
input_type・正規化の有無・作成日・退役予定日を記録する。 - 旧世代の保持期間: 切替後すぐに削除せず、ロールバック期間を決めて保持する。
- コスト試算: 全件再埋め込みのトークン量を事前に見積もり、予算承認を取る。
- モデルの提供終了: Voyage のモデルには世代ごとのライフサイクルがあり、旧世代は代替モデルが案内される。移行を計画的に回せる体制が前提になる。
複数チームが共有する基盤では、モデル変更を変更管理プロセスに載せ、全消費側エージェントの評価結果を切替判定に含める。大規模な統制設計は RDE(AI変革プログラム) で支援している。
参考
- Embeddings - Anthropic Docs
- FAQ: input_type - Voyage AI
- The Voyage 4 model family: shared embedding space - Voyage AI
- pgvector - GitHub
- Aliases - Elastic Docs
関連記事: RAGエージェント向けベクトルDB選定、RAGとツール使用の使い分け
まとめ
互換性のない埋め込みモデルへの移行は、二重書き込み・バックフィル・シャドー評価・エイリアス切替の4点で無停止にできます。次元上限と権限フィルタの影響を事前に検証し、世代台帳で統制してください。基盤設計のご相談は Kuu株式会社のRDE までお問い合わせください。
