Llamafile: l'AI "lite" di Mozilla

Llamafile è un nuovo progetto della fondazione Mozilla che ha l'obbiettivo di sviluppare un nuovo LLM (Large Language Model) su hardware attualmente in commercio. L'intenzione è quindi quella di fornire un'Intelligenza Artificiale Generativa a cui si possa accedere anche se non si dispone di hardware realizzato appositamente per questo tipo di tecnologie.

Llamafile: tutto in un unico file

Il problema delle prestazioni nell'implementazione delle AI rappresenta un limite spesso invalicabile per aziende di piccole dimensioni e sviluppatori indipendenti. A tal proposito basti citare la notizia secondo cui ad inizio dicembre Meta e Microsoft avrebbero pianificato l'acquisto di ben 150 mila GPGPU (General Purpose Graphics Processing Unit) H100 della Nvidia. Parliamo di componenti ad altissime prestazioni, dotate di chip GH100 con ben 14.592 core CUDA, il cui prezzo sarebbe troppo elevato per le tasche di chiunque.

Mozilla ha quindi intenzione di "democratizzare" gli LLM fornendo sotto licenza Open Source una soluzione alternativa rispetto a ChatGPT, Bard e Gemini. Nel caso specifico di Llamafile tutto il potenziale del modello dovrebbe essere disponibile attraverso un singolo file eseguibile. Non dovrebbe esserci alcun problema per quanto riguarda i sistemi operativi di destinazione, in quanto sarebbe garantita la compatibilità con Linux, macOS, Windows, NetBSD, FreeBSD e OpenBSD.

Introducing project llamafile: a versatile, full-stack LLM-based chatbot in a single file, eliminating the need for installation or dependencies on various platforms.

Read more about it here: https://t.co/4Lt9ffYwz2 pic.twitter.com/coBy8hU4Ha

— Mozilla (@mozilla) December 14, 2023

I vantaggi di Llamafile

Tra i vantaggi di questa impostazione vi è innanzitutto il fatto che nel caso di Llamafile l'LLM può essere attivato localmente. Non si ha quindi la necessità di appoggiarsi ad un'infrastruttura Cloud che, anche richiedendo di pagare per le sole risorse utilizzate, potrebbe risultare molto costosa. A ciò si aggiunga che Llamafile dovrebbe essere immediatamente utilizzabile, senza dover operare configurazioni particolarmente complesse.

Un altro punto di forza di Llamafile riguarda la portabilità, in quanto sarà possibile utilizzare il medesimo eseguibile su più postazioni. Trattandosi di una soluzione on-premise non sarà neanche necessario tenere la connessione ad Internet costantemente attiva.

Nel prossimo futuro potremo assistere ad una diffusione sempre maggiore degli LLM destinati ad operare sui singoli dispositivi. Gemini di Google, che però presenta delle caratteristiche molto differenti, dispone ad esempio di una versione di base ("Nano") eseguibile on-device direttamente su uno smartphone. Il primo device desinato ad ospitare questa variante del modello sarà il Pixel 8 Pro di Mountain View.