ChatGPT: un algoritmo riconosce i testi generati

Un gruppo di ricercatori accademici guidato dall’Università del Kansas ha provveduto a realizzare un algoritmo di apprendimento automatico per il riconoscimento degli articoli scientifici scritti da ChatGPT.

ChatGPT: un algoritmo riconosce i testi scientifici scritti dall'IA

Il team di ricercatori, guidato da Heather Desaire, ha quindi cercato di far fronte alla sempre più diffusa problematica relativa alla difficoltà di riconoscere i testi scritta dalla mente umana e quelli generati dall'IA e a quanto è in grado di riuscire nell'impresa nel 99% dei casi.

Andando più in dettaglio, Desaire e i suoi colleghi hanno compilato set di dati per addestrare e testare un algoritmo per classificare documenti scritti da scienziati e da ChatGPT. Hanno selezionato 64 articoli riguardanti una vasta serie di argomenti, poi hanno spinto ChatGPT a generare paragrafi sul medesimo tema per un totale di 128 articoli e 1.276 paragrafi.

Successivamente, i ricercatori hanno realizzato altri due set di dati, con i quali hanno dimostrato che l'algoritmo è in grado di distinguere tra documenti scritti dall'uomo e documenti generati dall’intelligenza artificiale nel 99% dei casi, con una riduzione dell’efficacia al 92% nel caso dell’analisi dei singoli paragrafi.

I ricercatori hanno concluso che un test più ampio consentirebbe di definire al meglio l’accuratezza del metodo anche andando oltre l'ambito scientifico.

"Poiché l'obiettivo chiave di questo lavoro era uno studio proof-of-concept, la portata del lavoro era limitata e sono necessari studi di follow-up per determinare l'entità dell'applicabilità di questo approccio", hanno scritto i ricercatori nel loro articolo. "Ad esempio, la dimensione del set di test (180 documenti, ∼1,200 paragrafi) è piccola e un set di test più grande definirebbe più chiaramente l'accuratezza del metodo su questa categoria di esempi di scrittura".