ホーム / 順位 #2

プロンプトキャッシュ

プロンプトキャッシュは、繰り返し使われるプロンプトの先頭部分（システムプロンプト、ツール定義、長文ドキュメント）の計算結果を再利用する仕組みです。これにより、リクエストの固定部分が大幅割引で課金されます — Anthropicでは明示的なキャッシュブレークポイントで最大90%オフ、OpenAIでは自動適用で約50%オフです。

固定コンテンツを先頭に、可変コンテンツを末尾に配置するようプロンプトを構造化すれば、本番環境ではキャッシュヒット率50〜80%が一般的です。チャットアプリ、エージェント、大きなシステムプロンプトを持つあらゆる用途において、1日で実装できる施策としては最もレバレッジが高い手法です。

実践手順

1. プロンプトを再構成します：固定コンテンツ（システムプロンプト、ツール、参照ドキュメント）を先頭に、可変コンテンツ（ユーザーメッセージ）を末尾に配置します。
2. Anthropicでは固定ブロックにcache_controlブレークポイントを追加します。OpenAIでは1024トークンを超える繰り返しプレフィックスに自動的にキャッシュが適用されます。
3. プレフィックスはリクエスト間でバイト単位で同一に保ちます — ブレークポイントより上を1文字でも変えるとキャッシュが無効化されます。
4. キャッシュヒット率を監視します。約50%を下回る場合、タイムスタンプやリクエストIDなどの可変要素がプレフィックスに混入しているのが典型的な原因です。

よくある質問

この手法に使えるツール

次の手法: #3 モデルルーティングとカスケード