ChatGPT e programmazione. A che punto siamo?

Gli LLM (Large Language Model) sostituiranno sviluppatori e programmatori? Forse è un po' troppo presto per rispondere a questa domanda. Per il momento, se si parla di codice bisognerebbe chiudersi invece quanto siano accurati gli output dei modelli generativi, quanto siano sicuri e quanto siano paragonabili al lavoro di un professionista nel settore. Secondo una studio pubblicato sul numero di IEEE Transactions on Software Engineering del mese scorso, ChatGPT, per ora, potrebbe essere considerato un buon programmatore di medio livello, niente di più.

I risultati dello studio su ChatGPT

Il chatbot di OpenAI sembrerebbe essere molto efficace dal punto di vista della funzionalità del codice prodotto. Molto dipenderebbe dalla difficoltà del task che deve essere eseguito, fattore che (insieme ad altri) determinerebbe percentuali di successo che vanno dagli 0.66 agli 89 punti.

I test eseguiti con ChatGPT-3.5 sono stati condotti proponendo al chatbot 728 problemi di coding prelevati dalla piattaforma LeetCode. Cinque i linguaggi coinvolti: C, C++, Java, JavaScript e Python.

Considerando i problemi risalenti a prima del 2021, la percentuale di successo sarebbe stata pari ad 89 punti per i task più semplici, del 71% per quelli di media difficoltà e del 40% per quelli più complessi.

Il codice si sarebbe dimostrato invece meno funzionale per i problemi successivi al 2021. In questo caso infatti i task più semplici sarebbero stati risolti solo nel 52% dei casi. Quelli più difficoltosi soltanto nello 0.66%.

As more people tinker with large language models as coding tools, a group of researchers dug into just how good ChatGPT is at writing code. They found that while ChatGPT can successfully write code, it also often fails, due to how it was trained. https://t.co/qGgDY8Em95

— IEEE Spectrum (@IEEESpectrum) July 6, 2024

Si tratta molto probabilmente di un difetto dovuto al training. Più un problema è ricorrente nei dataset più ChatGPT sarebbe preparato a risolverlo.

I vantaggi nell'uso dell'AI

Per alcuni aspetti, utilizzare i chatbot AI per il coding apparirebbe comunque vantaggioso. I suoi output risulterebbero essere prodotti ad esempio con un minore dispendio di memoria e con runtime più piccoli rispetto alle soluzioni umane. ChatGPT sembrerebbe poi abbastanza abile nel correggere errori di compilazione, mentre non sarebbe altrettanto performante quando si tratta di correggere i propri errori. Spesso però questi ultimi sembrerebbe causati da una scarsa comprensione dell'input raccolto.

Per quanto riguarda invece la sicurezza, le vulnerabilità rilevate sembrerebbero essere quasi sempre facilmente risolvibili. Dal punto di vista della complessità, infine, i risultati migliori e più paragonabili a quelli umani sarebbero quelli ottenuti, nell'ordine, con C, C++ e Python.