ホーム / 順位 #4

セマンティックキャッシュ

完全一致キャッシュは言い換えを取りこぼします。セマンティックキャッシュは、受信クエリを埋め込みベクトル化し、過去のクエリと十分に類似していれば保存済みの回答を返します。ユーザーが同じ内容を別の言葉で尋ねるワークロード（サポート、検索、FAQ型トラフィック）では、重複API呼び出しの30〜70%を排除できます。

プロンプトキャッシュの自然な次の一手です。プロンプトキャッシュが繰り返しプレフィックスを割り引くのに対し、セマンティックキャッシュはモデル呼び出し自体をスキップします。

実践手順

1. 各クエリを埋め込みベクトル化し、（埋め込み、レスポンス）のペアをベクトルストアに保存します。
2. チューニングした類似度しきい値を超えた場合にキャッシュ済みレスポンスを返します。最初は保守的な値（約0.95）で始め、監視しながら緩めていきます。
3. 回答がプライベートなコンテキストに依存する場合は、キャッシュをユーザー単位・テナント単位にスコープします。
4. 基礎となる事実の変化速度に合わせてTTLを設定します。

よくある質問

この手法に使えるツール

次の手法: #5 バッチAPI