Phi-3.5-MoE di Microsoft arriva su Azure AI Studio e GitHub

Il mese scorso, Microsoft ha introdotto la nuova famiglia di modelli leggeri Phi-3.5 con diversi miglioramenti. Phi-3.5-MoE è stato il primo modello della famiglia a sfruttare la tecnologia Mixture of Experts (MoE). L’azienda di Redmond ha ora annunciato che tale modello è ora disponibile in Azure AI Studio e GitHub tramite API serverless. Ciò consentirà agli sviluppatori di utilizzarlo nei loro flussi di lavoro e applicazioni senza preoccuparsi dell'infrastruttura sottostante. Come offerta serverless, gli sviluppatori pagano in base al loro consumo. Il costo è di 0,00013 dollari per 1000 token di input e 0,00052 dollari per 1000 token di output.

Nei benchmark AI più diffusi, Phi-3.5-MoE supera quasi tutti gli altri modelli open della sua categoria, tra cui Llama-3.1 8B, Gemma-2-9B e Mistral-Nemo-12B. Ciò nonostante utilizzi meno parametri attivi rispetto ad altri modelli. Microsoft afferma inoltre che questo modello offre prestazioni paragonabili o leggermente superiori a quelle di Gemini-1.5-Flash di Google, uno dei modelli closed-source più diffusi della sua categoria.

Phi-3.5-MoE: migliore capacità multilingua e più sicurezza

Il modello Phi-3.5 MoE è dotato di 42B di parametri totali ma ne attiva solo 6,6B e include 16 expert. Il team Microsoft Research ha progettato il modello da zero per potenziarne le prestazioni, la capacità multilingue e le misure di sicurezza.  Inoltre, invece di utilizzare metodi di formazione tradizionali, il team Microsoft Phi ha sviluppato un nuovo metodo di formazione chiamato GRIN (GRadient INformed) MoE per migliorare l'uso dei parametri e la specializzazione degli expert. Grazie a questo nuovo metodo di formazione, Microsoft è stata in grado di ottenere guadagni di qualità significativamente più elevati rispetto ai metodi di formazione tradizionali.

Con le sue prestazioni e accessibilità, Phi-3.5-MoE migliorerà il lavoro degli sviluppatori e ad accelerare l'innovazione nel panorama dell'IA. La sua disponibilità serverless e il modello pay-per-use abbassano ulteriormente le barriere all'ingresso, rendendo le capacità avanzate dell'IA più accessibili a tutti.