Início / Posição #2

Cache de prompts

O cache de prompts reutiliza o estado computado por trás de um prefixo de prompt repetido (prompt de sistema, definições de ferramentas, documentos longos), de modo que a parte estática de cada requisição é cobrada com um desconto pesado — até 90% na Anthropic com breakpoints de cache explícitos, e ~50% automaticamente na OpenAI.

Relatos de produção costumam ficar na faixa de 50–80% de acertos de cache quando os prompts são estruturados com o conteúdo estável primeiro e o conteúdo variável por último. Para apps de chat, agentes e qualquer coisa com um prompt de sistema grande, este é o ajuste de um dia com maior alavancagem disponível.

Como fazer

1. Reestruture os prompts: conteúdo estável (prompt de sistema, ferramentas, documentos de referência) primeiro, conteúdo variável (mensagem do usuário) por último.
2. Na Anthropic, adicione breakpoints cache_control aos blocos estáveis; na OpenAI, o cache é aplicado automaticamente a prefixos repetidos acima de 1024 tokens.
3. Mantenha o prefixo idêntico byte a byte entre requisições — qualquer alteração acima do breakpoint invalida o cache.
4. Acompanhe sua taxa de acertos de cache; abaixo de ~50% geralmente significa que algo volátil (timestamps, IDs de requisição) está vazando para o prefixo.

Perguntas frequentes

Ferramentas para este método

Próximo método: #3 Roteamento de modelos e cascatas