GitHub Copilot: oltre mille termini vietati

Lanciata lo scorso luglio, la technical preview di GitHub Copilot è stata proposta come una funzionalità basata sull'Intelligenza Artificiale (OpenAI) e sul network neurale Codex in grado di fornire suggerimenti per il completamento e la correzione del codice. Tali indicazioni sono il frutto della raccolta e dell'elaborazione di sorgenti messi a disposizione dagli sviluppatori stessi.

Per sua natura, un approccio di questo genere è destinato a garantire un elevato livello di precisione soltanto nel lungo periodo, quando i feedback degli utenti e l'analisi dei risultati ottenuti permette di limitare le criticità. Ad oggi invece le segnalazioni di suggerimenti basati su codice insicuro o sintatticamente troppo semplicistico sembrerebbero essere ancora numerose.

Per l'estensione di Visual Studio Code parliamo in ogni caso di una feature in piena fase di sperimentazione e di un beta test ancora in atto.

Copilot e le parole vietate

Alle problematiche citate in precedenza se ne aggiungerebbe un'altra di carattere non strettamente tecnico: in sostanza l'algoritmo che permette il funzionamento di Copilot integrerebbe anche un database composto da 1.170 parole (numero probabilmente destinato ad aumentare) che se utilizzate impedirebbero a tale soluzione di fornire i suggerimenti previsti. Si tratterebbe di termini in lingua inglese come "socialist", "Israel", "Palestine" e "liberal".

Non parliamo quindi di espressioni volgari ma semplicemente di parole legate ad argomenti controversi. Nelle FAQ del servizio si parla però chiaramente di "offensive words" e di un sistema che impedisce la sintetizzazione dei suggerimenti in un "contesto sensibile". Nello stesso tempo viene però specificato che:

Due to the pre-release nature of the underlying technology, GitHub Copilot may sometimes produce undesired outputs, including biased, discriminatory, abusive, or offensive outputs.

Eventuali outoput "offensivi" possono essere comunque segnalati attraverso un apposito indirizzo di posta elettronica, anch'esso indicato nelle FAQ.

Copilot e insicurezza

Copilot supporta ad oggi diversi linguaggi di sviluppo e programmazione tra cui JavaScript, TypeScript, Python, GO e Ruby. GitHub ha però sottolineato più volte che il suo utilizzo deve essere tenuto sotto controllo tramite un'adeguata attività di test che permetta ai bug di emergere.

Secondo una rilevazione operata dai ricercatori di arXiv, attualmente il codice prodotto utilizzando Copilot conterrebbe errori in grado di dar luogo a vulnerabilità anche gravi in circa il 40% dei casi.

Per il momento i limiti di tale strumento sembrerebbero risiedere in particolare in due aspetti: la comprensione delle richieste espresse dagli utenti (gli output vengono prodotti sulla base di una descrizione testuale) e un immenso database di codice che per ragioni comprensibili non può essere esente da errori.