Meta rilascia Code Llama 70B, nuovo LLM per la programmazione

Nell'agosto 2023, Meta ha rilasciato Code Llama, un modello linguistico di grandi dimensioni basato sul precedente Llama 2 e progettato esplicitamente per attività di codifica. Nelle scorse ore l'azienda ha presentato “una nuova versione più potente”, chiamata Code Llama 70B. Questo modello aggiornato è stato addestrato su 500 miliardi di token di codice e dati associati. Può elaborare e generare sequenze di codice più lunghe grazie ad una finestra di contesto di 100.000 token. Secondo Meta, Code Llama 70B utilizza una tecnica chiamata self-attention per comprendere le strutture del codice. Tale LLM può inoltre implementare algoritmi, ordinamenti, ricerche e altro da prompt di testo o snippet in molti linguaggi come Python, C++, Javascript e Java.

Today we’re releasing Code Llama 70B: a new, more performant version of our LLM for code generation — available under the same license as previous Code Llama models.

Download the models ➡️ https://t.co/fa7Su5XWDC
• CodeLlama-70B
• CodeLlama-70B-Python
• CodeLlama-70B-Instruct pic.twitter.com/iZc8fapYEZ

— AI at Meta (@AIatMeta) January 29, 2024

CodeLlama 70B: modello di Meta disponibile anche nelle varianti Instruct e Python

Lo strumento basato sull'intelligenza artificiale include varianti che sono state ottimizzate per attività specifiche. Una di queste è CodeLlama-70B-Instruct, che è stata addestrata per comprendere le istruzioni del linguaggio naturale. Esiste anche una versione focalizzata su Python chiamata CodeLlama-70B-Python. Secondo l’azienda di Menlo Park, con una formazione aggiuntiva su 100 miliardi di token di codice Python, questa variante è in grado di generare Python con “fluidità e precisione senza pari”.

Le tre versioni di Code Llama 70B sono ancora gratuite per ricerche e usi commerciali. Il modello di grandi dimensioni è stato addestrato su 1 TB di codice e dati correlati al codice. È ospitato sul repository di codice Hugging Face, che offre accesso alle GPU per eseguire modelli di intelligenza artificiale. Meta ha affermato che i suoi modelli più grandi, 34B e 70B, “restituiscono i migliori risultati e consentono una migliore assistenza nella codifica”. Grazie al suo update, questo nuovo modello di Meta è ora in grado di competere con altri LLM simili, come CodeWhisperer di Amazon e GitHub Copilot di Microsoft.