OpenAI annuncia nuovi tool per sviluppatori al DevDay 2024

Al recente DevDay 2024 OpenAI ha fatto quattro annunci importanti per gli sviluppatori. Innanzitutto, ha annunciato una beta pubblica della Realtime API. Questa consentirà agli sviluppatori di creare esperienze multimodali a bassa latenza nelle loro app. Ciò consentirà agli sviluppatori di creare applicazioni simili alla modalità vocale avanzata di ChatGPT con conversazioni vocali naturali utilizzando sei voci preimpostate. Per gli sviluppatori che non necessitano dei vantaggi della bassa latenza della Realtime API, OpenAI ha annunciato input e output audio nella Chat Completions API. Un milione di token di input di testo Realtime API costeranno 5 dollari, mentre un milione di token di output 20 costeranno 20 dollari. L'input audio costerà 100 dollari per 1 milione di token e l'output è di 200 dollari per 1 milione di token.

In secondo luogo, OpenAI ha annunciato il vision fine tuning di GPT-4o. Questa consentirà agli sviluppatori di migliorare il modello utilizzando immagini e testo. Ciò sarà utile in scenari come funzionalità di ricerca visiva migliorata, rilevamento di oggetti migliorato per veicoli autonomi, analisi di immagini mediche accurate e altro ancora. La messa a punto della vision è ora disponibile per tutti gli sviluppatori che utilizzano l'ultimo snapshot del modello GPT-4o, "gpt-4o-2024-08-06" su livelli di utilizzo a pagamento. OpenAI offre anche 1 milione di token di formazione al giorno gratuitamente fino al 31 ottobre 2024, per il fine tuning di GPT-4o con immagini. Dopodiché, l'addestramento di fine-tuning costerà 25 dollari per 1 milione di token. L’inferenza costerà invece 3,75 dollari per 1 milione di token di input e 15 dollari per 1 milione di token di output.

OpenAI: introdotti Prompt Caching e Model Distillation

OpenAI sta finalmente recuperando terreno su Google e Anthropic con il nuovo supporto Prompt Caching che consente agli sviluppatori di ridurre costi e latenza. Utilizzando Prompt Caching, gli sviluppatori possono ottenere uno sconto del 50% e tempi di elaborazione più rapidi. Inoltre, gli sviluppatori non devono fare nulla per abilitare Prompt Caching. Questo viene infatti applicato automaticamente alle ultime versioni di GPT-4o, GPT-4o mini, o1-preview e o1-mini, nonché alle versioni ottimizzate di tali modelli.

L’azienda ha anche annunciato una nuova suite Model Distillation che consentirà agli sviluppatori di ottimizzare modelli più piccoli utilizzando output da modelli di frontiera più grandi. Ciò consentirà loro di abbinare le prestazioni di modelli avanzati su attività specifiche a un costo molto inferiore. In precedenza, ciò comportava un processo enorme e diversi strumenti scollegati. Con la nuova suite Model Distillation, OpenAI offre ora l'intera pipeline di distillazione direttamente all'interno della sua piattaforma.

Model Distillation è ora disponibile per tutti gli sviluppatori. OpenAI offre 2 milioni di token di training gratuiti al giorno su GPT-4o mini e 1 milione di token di training gratuiti al giorno su GPT-4o fino al 31 ottobre. Dopodiché, il costo di training ed esecuzione di un modello distillato è lo stesso degli attuali prezzi di fine-tuning standard di OpenAI. Semplificando i flussi di lavoro e riducendo i costi, OpenAI sta rendendo più facile il lavoro per gli sviluppatori.