ChatGPT: un tool per capire se i testi sono stati scritti da AI

OpenAI, l'organizzazione che ha sviluppato l'intelligenza artificiale alla base di ChatGPT, ha implementato una soluzione che dovrebbe permettere di distinguere i testi scritti dagli esseri umani da quelli generati dalle AI.

Tale strumento dovrebbe rivelarsi utile in casi particolari come per esempio la lotta contro le campagne di disinformazioni automatizzate tramite bot e l'utilizzo improprio dei chatbot, indipendentemente dal provider, in ambito scolastico ed accademico.

Limiti nell'affidabilità dei controlli

Come spiegato dagli stessi portavoce di OpenAI, non si tratta di un tool completamente affidabile. Per il momento, limitatamente alla lingua Inglese, esso identificherebbe il 26% dei testi scritti da AI come plausibilmente realizzati da queste ultime. Mentre nel caso dei testi scritti da esseri umani la percentuale di falsi positivi si aggirerebbe intorno ai 9 punti.

Il controllo avviene attraverso un semplice form nel quale incollare il contenuto da verificare. Per ottenere risultati plausibili è necessario testare un testo di almeno 1.000 caratteri, approssimativamente tra le 150 e le 250 parole. Testi più corti non offrirebbero lo stesso livello di attendibilità da parte del tool che comunque potrebbe generare falsi positivi anche in presenza di contenuti di ampio respiro.

Almeno per ora il sistema è in grado di riconoscere i testi generati dalle AI (o meno) soltanto se scritti in Inglese, i controlli su contenuti redatti in altre lingue non sono impossibili ma la valutazione risulterebbe sicuramente imprecisa.

Stesso discorso per quanto riguarda i testi contenenti output altamente prevedibili. È per esempio molto difficile che il tool riesca a distinguere una lista di numeri primi scritta da una AI da quella scritta da un essere umano.

Come è facile intuire, un altro elemento che potrebbe avere effetto sulla valutazione è l'editing. Più un testo prodotto da una AI è stato modificato manualmente maggiore sarà la probabilità che venga identificato con scritto da un essere umano.

I settori interessati

Dopo il lancio di ChatGPT sono stati segnalati numerosi utilizzi impropri. Come per esempio l'uso del chatbot per la scrittura di tesine da parte di studenti. Per questo motivo il nuovo tool potrebbe rivelarsi utile in ambito educativo per verifiche effettuate da insegnanti o genitori.

OpenAI sottolinea come esso sia stato pensato in particolare per gli educatori. È comunque probabile che in futuro vengano sviluppati altri strumenti dedicati a settori diversi dalla didattica come per esempio il giornalismo.

Esattamente come accade con ChatGPT, anche il tool di controllo viene costantemente allenato utilizzando dataset composti da copie di testi scritti da AI ed esseri umani.