Anthropic anunció una nueva función Prompt Caching with Claude que aumenta las capacidades de Claude para tareas repetitivas con grandes cantidades de información contextual detallada. La nueva característica lo hace más rápido, más económico y más potente, y está disponible hoy en versión Beta a través de la API de Anthropic.
Almacenamiento en caché rápido
Esta nueva característica proporciona un poderoso impulso para los usuarios que usan constantemente instrucciones muy detalladas que utilizan respuestas de ejemplo y contienen una gran cantidad de información general en el mensaje, lo que permite a Claude reutilizar los datos con el caché. Esto mejora la coherencia de la salida, acelera las respuestas de Claude hasta un 50 % (menor latencia) y también hace que su uso sea hasta un 90 % más económico.
Prompt Caching with Claude es especialmente útil para proyectos complejos que dependen de los mismos datos y es útil para empresas de todos los tamaños, no solo para organizaciones de nivel empresarial. Esta función está disponible en una versión Beta pública a través de la API Anthropic para usar con Claude 3.5 Sonnet y Claude 3 Haiku.
El anuncio enumera las siguientes formas en que Prompt Caching mejora el rendimiento:
- “Agentes conversacionales: Reduzca el costo y la latencia para conversaciones prolongadas, especialmente aquellas con instrucciones largas o documentos cargados.
- Procesamiento de documentos grandes: incorpore material completo de formato largo en su mensaje sin aumentar la latencia de respuesta.
- Conjuntos de instrucciones detallados: comparta listas extensas de instrucciones, procedimientos y ejemplos para perfeccionar las respuestas de Claude sin incurrir en costos repetidos.
- Asistentes de codificación: mejore el autocompletado y las preguntas y respuestas del código base manteniendo una versión resumida del código base en el mensaje.
- Uso de herramientas agentes: mejore el rendimiento para escenarios que involucran múltiples llamadas a herramientas y cambios de código iterativos, donde cada paso generalmente requiere una nueva llamada API”.
Más información sobre la API Anthropic aquí:
Construir con Claude
Explora los últimos modelos – Precios
Imagen destacada de Shutterstock/gguy
