Non ci sono dubbi, il 2024 sarà l'anno delle Intelligenze Artificiali e dei modelli linguistici generativi. E qual è il primo nome che viene in mente quando si parla di queste tecnologie? Chiaramente quello di ChatGPT. La creatura di OpenAI, basata sul LLM (Large Language Model) GPT, non è però l'unica soluzione di questo tipo disponibile sul mercato. Google, per esempio, ha lanciato il progetto Bard mentre xAI, di Elon Musk, è impegnata con il suo Grok.
In ogni caso non tutte le piattaforme basate sulla AI sono proprietarie o fanno capo a grandi aziende. Esistono anche delle alternative libere e aperte, rilasciate sotto licenza Open Source che godono di un maggior livello di indipendenza. A breve vedremo quali, prima però concentriamoci sui vantaggi del loro utilizzo.
Perché utilizzare alternative Open Source a ChatGPT?
Un progetto Open Source è associato ad una licenza "permissiva" che consente a chiunque disponga delle necessarie competenze di studiare, modificare, adottare e redistribuire il codice sorgente di un applicativo. Ciò permette anche di contribuire volontariamente allo sviluppo del progetto stesso, con un grado di libertà elevato nel rispetto dei termini di licenza. Questo è quindi un primo vantaggio, perché le alternative Open Source a ChatGPT vengono implementate nel contesto di community interessate al loro miglioramento e alla loro sicurezza più che a logiche di profitto.
Un altro vantaggio, in parte ne abbiamo già parlato, risiede nel fatto che a monte di tali soluzioni non vi sono grandi aziende. Questo significa che non si deve sottostare alle loro policy e a clausole contrattuali spesso di carattere puramente commerciale. Il codice aperto garantisce inoltre maggiore trasparenza e le modalità con le quali vengono trattati i dati elaborati dai modelli sono note. Si hanno inoltre un grado più elevato di personalizzazione e di adattamento alle singole esigenze e maggiori opportunità di risparmio in termini di investimento. Questo senza contare che fare riferimento ad un unica piattaforma, soprattutto se proprietaria, crea una condizione di dipendenza che è per sua natura negativa.
Quali sono quindi le migliori alternative Open Source a ChatGPT? Ne abbiamo selezionato 10 tra le più popolari e complete. L'elenco proposto di seguito non vuole essere esaustivo ma un punto di partenza per la scelta della soluzione più adatta al proprio progetto.
Vicuna
Vicuna (o per esteso Vicuna-13B) e un modello Open Source addestrato tramite il tuning di LLaMA (Meta) e le conversazioni condivise dagli utenti tramite ShareGPT, estensione per il browser Web Google Chrome che permette appunto di mettere a disposizione prompt e risposte ottenute nel corso delle interazioni con la piattaforma di OpenAI. L'esito del training è stato un servizio che riesce a garantire un livello di qualità pari a circa il 90% rispetto a ChatGPT e Google Bard. I suoi risultati sarebbero poi addirittura migliori rispetto a quelli di LLaMA.
ColossalChat
ColossalChat è un chatbot in stile ChatGPT che rappresenta l'implementazione del progetto Colossal-AI. Il modello generativo di base è Coati (ColossalAI Talking Intelligence), un LLM addestrato tramite la tecnica di Machine Learning RLHF (Reinforcement Learning from Human Feedback). Grazie ad essa l'apprendimento automatico viene ottimizzato tramite i feedback formulati dagli essere umani che ne valutano il rendimento. In questo modo è possibile verificare in tempo reale che il livello di sviluppo raggiunto sia adeguato agli obbiettivi preposti (comprensione dei prompt, accuratezza delle risposte, capacità di espressione in linguaggio naturale).
H2oGPT
Un altro progetto che ha portato alla creazione di un chatbot AI based è H2oGPT. Se volete interagire con la piattaforma potete farlo da questa pagina, non è necessaria alcuna iscrizione e sono supportate anche le conversazioni in Italiano. Tra le caratteristiche del servizio vi è il supporto di una grande varietà di modelli, da LLaMa2 a Mistral AI, da Falcon a Vicuna passando per WizardLM. Sono supportati tutti i sistemi operativi Desktop più utilizzati, compreso Linux, e il repository mette a disposizione anche degli installer per Windows e macOS. H2oGPT è compatibile con la Server Proxy API e la Python client API di OpenAI.
HuggingChat
Hugging Face offre una vasta gamma di modelli pre-addestrati, dataset e strumenti legati alle tecnologie di Intelligenza Artificiale per aiutare gli sviluppatori nelle attività di integrazione dei modelli di apprendimento automatico all'interno delle proprie applicazioni. Si tratta di una soluzione ampiamente sfruttata dalle comunità di ricerca, e non solo, per accelerare l'implementazione di servizi incentrati sulle AI. HuggingChat, il chatbot offerto dal progetto, permette di selezionare il modello da utilizzare (quello di default è una delle varianti di Mistral AI) e supporta la generazione degli output anche tramite ricerche sul Web.
OpenChatKit
Tra le alternative libere e aperte a ChatGPT troviamo anche OpenChatKit basato sul modello RedPajama 7B Chat. Quest'ultimo è stato addestrato sulla base di 7 miliardi di parametri con lo scopo di sviluppare capacità di ragionamento logico e consequenziale, supportare le conversazioni in più sessioni e acquisire conoscenza utile per la restituzione delle risposte ai prompt degli utenti. Il chatbot è in grado di creare riassunti di testi di ampio respiro, generare tabelle a partire dai dati forniti in input, classificare i task e mantenere il senso del contesto nel corso di un dialogo. L'attuale fase di sviluppo del progetto è incentrata soprattutto sulle competenze in tema di coding e la conoscenza fattuale finalizzata al problem solving.
GPT4All
GPT4All nasce per "democratizzare" ChatGPT e in generale gli LLM che, come anticipato, sono spesso legati ad iniziative commerciali orientate verso il Closed Source. Il vantaggio principale di questa proposta risiede nel fatto che può essere eseguita localmente, sfruttando l'hardware di un computer con configurazione di tipo consumer. Non è richiesta la disponibilità di una GPU particolarmente performante e non è necessaria nemmeno una connessione ad Internet. Oltre all'immancabile repository su GitHub vengono messi a disposizione anche degli installer per Windows, macOS e Linux (Ubuntu). La piattaforma può essere utilizzata per la generazione automatica di codice sorgente, la scrittura di e-mail, la stesura di documenti e la loro interpretazione con riepilogo.
Koala
Spostandoci su un progetto più orientato verso la ricerca in ambito accademico vale la pena di citare Koala. Un chatbot addestrato attraverso il fine-tuning del modello LLaMA sfruttando dati di dialogo raccolti dal Web e dataset pubblici. Questo particolare lo differenzia da altre iniziative dello stesso tipo come ChatGPT, Bard, Bing Chat e Claude che utilizzano invece dataset proprietari corredati da annotazioni umane. I risultati del processo di training avrebbero evidenziato che Koala è in grado di rispondere in modo efficace ad una grande varietà di domande formulate dagli utenti. Generando in output risposte che non di rado sono più accurate rispetto a quelle del modello Alpaca di Stanford e almeno pari a quelle di ChatGPT in oltre la metà dei casi.
Baize
Baize e un chat model personalizzabile e il suo nome deriva dai una creatura mitologica del folclore cinese. Curiosità a parte si tratta di una piattaforma addestrata tramite LoRA (Low-Rank Adaptation) con cui si ha il vantaggio di ridurre il numero di parametri necessari per il training. Semplificandolo e rendendolo in alcuni casi più efficiente. Come per altri progetti dello stesso tipo è possibile chattare con il chatbot da una pagina di Hugging Face. L'interfaccia utente consente di settare i valori di parametri come per esempio il numero massimo di token e la temperatura, cioè il grado di probabilità/casualità nella scelta di questi ultimi.
ChatRWKV
Come precisato dai suoi autori, ChatRWKV (o se preferite "RwaKuv") è un chatbot simile a ChatGPT ma animato dal modello linguistico RWKV di tipo RNN (Recurrent Neural Network). Si tratta nello specifico una rete neurale concepita per la gestione di dati sequenziali o informazioni che dispongono di una struttura temporale. A differenza di quanto accade con le reti neurali "tradizionali", con cui ciascun input viene trattato in modo indipendente, le RNN conservano nel tempo una sorta di memoria dei dati elaborati in precedenza. Questa impostazione fa in modo che tutte le informazioni provenienti dai vari passaggi temporali influenzino l'elaborazione dei dati nel corso delle fasi successive. Il repository ufficiale del progetto mostra alcuni dei risultati ottenuti durante i benchmark, mentre la UI del chatbot è disponibile su questa pagina.
OPT
OPT è un Open Pre-trained Transformer Language Model che non garantisce lo stesso livello di performance di GPT-4 ma ha il vantaggio di poter essere integrato con altre piattaforme come Colossal-AI. Il modello (qui la demo) è stato progettato a partire dalla constatazione che lo sviluppo degli LLM prevede spesso dei costi computazionali non indifferenti. Questo li rende difficilmente replicabili senza investimenti significativi. Le API consentono poi soltanto un accesso parziale ad essi e ciò li rende difficili da studiare. Il progetto presenta quindi modelli che vanno dai 125 milioni ai 175 miliardi di parametri ed è possibile utilizzare quello più adatto alle proprie esigenze. Si tratta inoltre di una soluzioni meno impattante di GPT a livello ambientale, con emissioni fino a 7 volte inferiori.
Conclusioni
ChatGPT è il chatbot AI più popolare tra le soluzioni basate sui modelli linguistici. Si tratta però di un progetto legato ad un LLM proprietario e Closed Source. In questo approfondimento abbiamo presentato 10 alternative Open Source, non tutte le tecnologie di Intelligenza Artificiale Generativa sono infatti sotto il controllo di grandi aziende o vincolate a logiche commerciali.
