Apple: LLM open source meno potente di Phi-3 di Microsoft

Qualche mese fa, Microsoft ha annunciato la famiglia Phi-3 di Small Language Models (SLM). I modelli Phi-3 hanno sovraperformato significativamente i modelli delle stesse dimensioni e di dimensioni maggiori rispetto ai parametri di riferimento chiave. Infatti, il modello più piccolo, Phi-3-mini, supera i modelli due volte più grandi, mentre Phi-3-small e Phi-3-medium superano i modelli più grandi come GPT-3.5 Turbo. Recentemente, il team DataComp for Language Models (DCLM) di Apple ha rilasciato un nuovo modello open source chiamato DCLM-7B sotto la licenza Apple Sample Code. Questo nuovo DCLM-7B è un modello linguistico da 7 miliardi di parametri addestrato sul set di dati DCLM-Baseline. Apple ha poi combinato la sua baseline DCLM da 3,8 T con i dati StarCoder e ProofPile2 per arrivare a un set di dati di token da 4,1 T. Tutto ciò per rendere il modello ampiamente utile per varie attività comuni, tra cui matematica e codifica.

Apple ha creato questo modello per evidenziare l'efficacia delle tecniche sistematiche di data curation per migliorare le prestazioni dei modelli linguistici. Apple ha anche pubblicato i risultati della valutazione del DCLM-7B insieme ai confronti con altri modelli di dimensioni simili.

Apple: modello 7B confrontato con modello 3.8B di Microsoft

I risultati del benckmark hanno mostrato come Phi-3 di Microsoft supera il DCLM-7B di Apple in tutte e tre le categorie, incluso MMLU. Un altro fatto sorprendente è che Apple non ha menzionato lo specifico modello Phi-3 utilizzato per questo confronto. Sulla base del punteggio MMLU, è possibile dedurre che questo punteggio appartiene a Phi-3 mini, un modello linguistico 3.8B. Non è chiaro il motivo per cui Apple abbia confrontato il suo modello 7B con un modello 3.8B di Microsoft. Idealmente, avrebbero dovuto confrontarlo con Phi-3 Small, che è un modello 7B con un impressionante punteggio MMLU di 75,6.

La corsa per sviluppare piccoli modelli linguistici ad alte prestazioni sta chiaramente accelerando. Mentre Phi-3 di Microsoft ha fissato un livello elevato, DCLM-7B di Apple dimostra il potenziale di una data curation mirata per il miglioramento del modello. Resta da vedere come questi piccoli modelli linguistici si evolveranno e avranno un impatto sul più ampio panorama dell’AI.