OpenChat AI: come ChatGPT ma Open Source

Presentato solo di recente, OpenChat AI è un LLM (Large Language Model) che si propone come alternativa ad Intelligenze Artificiali Generative più note, ma commerciali, come quella alla base di ChatGPT. Si tratta infatti di una soluzione Open Source ospitata su GitHub che pur basandosi su un numero relativamente limitato di parametri riesce a garantire prestazioni paragonabili, se non superiori, rispetto alla creatura di OpenAI.

OpenChat AI e C-RLFT

Una delle caratteristiche più interessanti di OpenChat AI riguarda il modo in cui viene addestrato il modello. Il training, e la conseguente ottimizzazione, si basano infatti sul C-RLFT (Conditioned Reinforcement Learning Fine-tuning). Questo metodo prevede che l'apprendimento venga potenziato anche attraverso l'interazione con il contesto. A tale scopo non vengono impiegati dati prelevati in tempo reale dal Web. Si usano quindi informazioni offline, raccolte prima della fase di addestramento.

A livello tecnico il C-RLFT deve la sua efficienza ad un sistema di feedback. Quando i risulti ottenuti sono positivi il modello viene "ricompensato", mentre esiti contrari portano a delle "punizioni". A differenza di quanto avviene con il metodo SFT (Supervised Fine-Tuning), i dati non vengono trattati tutti nello stesso modo. Viene utilizzato invece un sistema di ranking che permette di identificare quelli di qualità più elevata.

OpenChat AI e parametri

Il modello più recente del progetto, OpenChat-3.5-7B, è stato addestrato con "appena" 7 miliardi di parametri. Questo lo rende utilizzabile anche in configurazioni hardware non particolarmente elevate che presentano GPU di livello consumer. I responsabili del progetto fanno riferimento ad esempio alla NVidia Geforce RTX 3090, una scheda dal prezzo certo non esattamente economica ma comunque accessibile.

Rilasciato sotto licenza Apache 2.0, OpenChat AI può essere testato direttamente online via browser web tramite la demo fornita dal team del progetto (Chatbot UI).

Il sistema è multi-lingua a supporta anche le conversazioni in Italiano. Per gli sviluppatori che vogliono sfruttare il modello nelle proprie applicazioni è disponibile inoltre un'API. La compatibilità con lo standard di OpenAI estende notevolmente gli ambiti di applicazione di questa interfaccia di programmazione. Per iniziare a lavorare con OpenChat AI basta utilizzare il package manager di Python pip nella seguente istruzione:

pip3 install ochat

Nel sistema ospitante deve essere però disponibile PyTorch.