Microsoft lancia la nuova famiglia di modelli Phi-3.5

Nelle scorse ore Microsoft ha annunciato il rilascio della famiglia di modelli Phi-3.5, che include Phi-3.5-vision, Phi-3.5-MoE e Phi-3.5-mini. Questi modelli leggeri sono basati su dati sintetici e siti web pubblici filtrati e supportano una lunghezza del contesto del token di 128K. Tutti i modelli sono ora disponibili su Hugging Face con una licenza MIT. Il primo modello della famiglia Phi è Phi-3.5-MoE, che sfrutta la tecnologia Mixture of Experts (MoE). Questo modello MoE da 16 x 3,8 miliardi di parametri attiva solo 6,6 miliardi di parametri ed è stato addestrato su 4,9 trilioni di token utilizzando 512 H100. Il team di Microsoft Research ha progettato il modello da zero per migliorarne le prestazioni. Nei benchmark standard di intelligenza artificiale, Phi-3.5-MoE supera Llama-3.1 8B, Gemma-2-9B e Gemini-1.5-Flash e si avvicina di molto a GPT-4o-mini.

Microsoft: i modelli Phi-3.5-vision e Phi-3.5-mini

l Phi-3.5-mini è un modello con 3.8 miliardi di parametri che supera Llama3.1 8B e Mistral 7B ed è addirittura competitivo con Mistral NeMo 12B. È stato addestrato su 3.4 trilioni di token utilizzando 512 GPU H100. Con solo 3.8 miliardi di parametri attivi, questo modello è competitivo nei compiti multilingue rispetto agli LLM con molti più parametri attivi. Inoltre, Phi-3.5-mini ora supporta una lunghezza di contesto di 128K, mentre il suo principale concorrente, la famiglia Gemma-2, supporta solo 8K. Infine, Phi-3.5-vision è un modello di 4.2 miliardi parametri addestrato su 500 miliardi di token usando 256 GPU A100. Questo modello ora supporta la comprensione e il ragionamento di immagini multi-frame. Phi-3.5-vision ha migliorato le prestazioni su MMMU (da 40.2 a 43.0), MMBench (da 80.5 a 81.9) e il benchmark di comprensione dei documenti TextVQA (da 70.9 a 72.0).

Con la famiglia Phi-3.5, Microsoft mostra grandi progressi nell'efficienza e nelle capacità dei suoi modelli AI. Con un focus sulla progettazione leggera e sulla comprensione multimodale, questa famiglia di modelli potrebbe ottenere un'adozione più ampia in varie applicazioni AI e sbaragliare la concorrenza.