Anthropic rilascia API Message Batches per Claude

Anthropic ha lanciato la sua nuova API Message Batches per offrire agli sviluppatori una soluzione più economica con cui elaborare grandi volumi di query verso Claude in modalità asincrona. Con questa interfaccia di programmazione si ha la possibilità di inviare fino a 10 mila query. Verranno elaborate entro 24 ore e con una riduzione del 50% dei costi rispetto alle chiamate indirizzate ad API standard. Questo rappresenta un notevole miglioramento per la gestione efficiente dei task per i quali il tempo non è una variabile determinante.

API Message Batches per Claude in beta pubblica

Attualmente disponibile in beta pubblica, l'API supporta diverse implementazioni del modello generativo di Anthropic. Per la precisione Claude 3.5 Sonnet, Claude 3 Opus e Claude 3 Haiku su Anthropic API. Gli utenti di Claude su Amazon Bedrock possono già utilizzare l'inferenza "a lotti", mentre il supporto per Google Cloud's Vertex AI è ormai in arrivo.

La necessità di un'elaborazione ad alto throughput è fondamentale per gli sviluppatori che utilizzano Claude in attività specifiche come l'analisi del feedback dei clienti e la traduzione linguistica. Tutti compiti dove le risposte immediate non sono prioritarie.

Introducing the Message Batches API—a cost-effective way to process vast amounts of queries asynchronously.

You can submit batches of up to 10,000 queries at a time. Each batch is processed within 24 hours and costs 50% less than standard API calls. https://t.co/nkXG9NCPIs

— Anthropic (@AnthropicAI) October 8, 2024

L'API consente di inviare fino a 10 mila query contemporaneamente senza preoccupazioni di limiti di velocità o complessi sistemi di gestione delle code. Garantendo nel contempo una riduzione dei costi di circa la metà rispetto a quanto possibile con le interfacce "tradizionali".

Ideale per i Big Data

L'API offre una maggiore scalabilità per l'elaborazione di grandi volumi di dati, come l'analisi di dataset o la valutazione di modelli. Questo senza richiedere la gestione di infrastrutture complesse. Un approccio di questo genere rende praticabile l'analisi di enormi archivi di documenti aziendali, composti da milioni di file, grazie al contenimento degli investimenti.

Il listino prezzi della API Message Batches prevede un risparmio del 50% sui costi dei token di input e output. Ad esempio, per Claude 3.5 Sonnet, il costo è di 1.50 dollari per milione di token di input e 7.50 per quelli di output. Quora, la nota piattaforma dedicata a domande e risposte, utilizza già questa API per attività come la sintesi e l'estrazione di informazioni.