CriticGPT: OpenAI crea modello per trovare errori di ChatGPT

ChatGPT è uno dei chatbot AI più affidabili al mondo ma, nonostante, ciò, non è esente da errori. Sebbene questo non suggerisca di aggiungere colla alla pizza, il chatbot è tutto meno che perfetto. Per provare a risolvere ciò, OpenAI ha quindi addestrato un modello AI basato su GPT-4 chiamato CriticGPT. Il suo scopo è quello trovare errori nell'output del codice fornito dal chatbot. Tale modello può infatti scrivere critiche che evidenziano inesattezze nelle risposte di ChatGPT e, ad oggi viene utilizzato internamente e OpenAI. L’azienda ha recentemente pubblicato un documento per spiegare nel dettaglio il funzionamento tale modello.

CriticGPT: come funziona il nuovo modello di OpenAI

CriticGPT è pensato per assistere i formatori di intelligenza artificiale umana il cui compito è addestrare e migliorare le risposte di GPT-4 utilizzando una tecnica chiamata Reinforcement Learning from Human Feedback (RLHF). Coinvolge i formatori di intelligenza artificiale che valutano diverse risposte ChatGPT l'una contro l'altra. Tuttavia, le cose stanno diventando più difficili per i formatori di intelligenza artificiale poiché ChatGPT sta diventando più preciso e i suoi errori più subdoli. Come riportato da OpenAI: "questa è una limitazione fondamentale di RLHF e potrebbe rendere sempre più difficile l'allineamento dei modelli man mano che diventano gradualmente più informati di qualsiasi persona che possa fornire feedback".

CriticGPT entra in gioco per salvare la situazione, ma è pur sempre un modello di intelligenza artificiale e le sue risposte potrebbero non essere sempre corrette. Inoltre, anche suscettibile a problemi di intelligenza artificiale come le allucinazioni. Tuttavia, il modello può aiutare gli esseri umani a individuare meglio gli errori rispetto a quando svolgono il lavoro da soli. Il modello doveva trovare errori inseriti deliberatamente dagli esseri umani e bug ChatGPT "naturali" precedentemente rilevati da un trainer. CriticGPT è stato formato utilizzando risposte brevi di ChatGPT, ma devono essere sviluppati nuovi metodi che possano aiutare i formatori a comprendere compiti lunghi e complessi. Attualmente, CriticGPT ha una visione acuta quando cerca di individuare errori nelle risposte di ChatGPT. OpenAI ha rivelato che gli errori del mondo reale possono diffondersi in molte parti di una risposta. Ciò è un problema che l’azienda dovrà risolvere in futuro.