Prompt caching

​

Cómo funciona el caching

​

Modelos compatibles y precios

​

Comportamiento específico del proveedor

​

Claude Opus 4.5 (Anthropic)

• Los system prompts se almacenan en caché automáticamente
• El historial de conversación se almacena en caché colocando un breakpoint en el penúltimo mensaje del usuario

• Hasta 4 breakpoints por solicitud: el sistema usa el prefijo coincidente más largo
• La clave de caché es exacta a nivel de byte: cambios en espacios en blanco, distintas codificaciones de imagen o herramientas reordenadas rompen los aciertos de caché
• Rate limits conscientes de la caché: los tokens en caché no cuentan contra tu límite ITPM, permitiendo un mayor throughput efectivo
• Premium de escritura del 25 %: la primera solicitud cuesta más, pero hay un 90 % de ahorro en las lecturas posteriores

​

Control manual de caché

{
  "messages": [
    {
      "role": "system",
      "content": [{
        "type": "text",
        "text": "You are a legal assistant...",
        "cache_control": { "type": "ephemeral" }
      }]
    },
    {
      "role": "user", 
      "content": [{
        "type": "text",
        "text": "[Long contract document...]",
        "cache_control": { "type": "ephemeral" }
      }]
    },
    { "role": "assistant", "content": "I've reviewed the contract." },
    { "role": "user", "content": "What are the termination clauses?" }
  ]
}

​

Resto de modelos

​

Parámetros de solicitud

​

prompt_cache_key

{
  "model": "claude-opus-4-5",
  "prompt_cache_key": "session-abc-123",
  "messages": [...]
}

​

Campos de respuesta

{
  "usage": {
    "prompt_tokens": 5500,
    "completion_tokens": 200,
    "total_tokens": 5700,
    "prompt_tokens_details": {
      "cached_tokens": 5000,
      "cache_creation_input_tokens": 0
    }
  }
}

• 5000 tokens en caché × $0.60/1M = $0.003
• 500 tokens sin caché × $6.00/1M = $0.003
• Total: $0.006 (vs $0.033 sin caching, 82 % de ahorro)

​

Mejores prácticas

​

Estructura los prompts para el caching

​

Mantén los prefijos idénticos a nivel de byte

• Diferentes espacios en blanco o saltos de línea
• Marcas de tiempo o IDs de solicitud en los prompts
• Orden aleatorizado de ejemplos few-shot
• Distinto formato del mismo contenido

​

Cumple los umbrales mínimos de tokens

• Añadir más contexto o ejemplos para alcanzar el umbral
• Agrupar varias solicitudes pequeñas en prompts por lotes
• Aceptar que el caching no se aplicará a consultas simples

​

Usa prompt_cache_key para conversaciones

// Turno 1
{ "prompt_cache_key": "conv-xyz", "messages": [...] }

// Turno 2
{ "prompt_cache_key": "conv-xyz", "messages": [...] }

// Turno 3
{ "prompt_cache_key": "conv-xyz", "messages": [...] }

​

Monitoriza el rendimiento de la caché

• Tasa de acierto de caché: cached_tokens / prompt_tokens
• Ahorro de coste: compara el coste real vs. el coste sin caché
• Reducción de latencia: tiempo hasta el primer token con vs. sin aciertos de caché

1. Los prompts pueden estar por debajo del umbral mínimo de tokens
2. Los prompts pueden estar cambiando entre solicitudes
3. Las solicitudes pueden estar llegando a distintos servidores (usa prompt_cache_key)
4. La caché puede haber expirado (solicitudes demasiado infrecuentes)

​

Considera la economía de la caché

​

Vida de la caché

​

Caching con tools y funciones

{
  "model": "claude-opus-4-5",
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "search_database",
        "description": "Search the product database",
        "parameters": { ... }
      }
    }
  ],
  "messages": [
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "You are a shopping assistant...",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    ...
  ]
}

​

Caching con imágenes y documentos

{
  "model": "claude-opus-4-5",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": { "url": "data:image/png;base64,..." }
        },
        {
          "type": "text",
          "text": "This is the floor plan. I'll ask several questions about it.",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "I can see the floor plan. What would you like to know?"
    },
    {
      "role": "user",
      "content": "How many bedrooms are there?"
    }
  ]
}

​

Resolución de problemas