Hugging Face: trovati più di 100 modelli AI dannosi

Sulla piattaforma Hugging Face sono stati trovati almeno 100 casi di modelli AI ML dannosi. Alcuni di essi possono eseguire codice sul computer della vittima, fornendo agli aggressori una backdoor persistente. Hugging Face è un'azienda tecnologica che si occupa di intelligenza artificiale (AI), elaborazione del linguaggio naturale (NLP) e apprendimento automatico (ML). Inoltre, fornisce una piattaforma in cui le community possono collaborare, condividere modelli, set di dati e applicazioni complete. Il team di sicurezza di JFrog ha scoperto che circa un centinaio di modelli ospitati sulla piattaforma presentano funzionalità dannose, che comportano un rischio significativo di violazione dei dati e attacchi di spionaggio. Ciò accade nonostante le misure di sicurezza di Hugging Face, tra cui la scansione di malware e l'esame accurato della funzionalità dei modelli per scoprire comportamenti come la deserializzazione non sicura.

Hugging Face: payload dannosi creati da specialisti AI per ricerche sulla sicurezza

JFrog ha sviluppato e distribuito un sistema di scansione avanzato per esaminare i modelli PyTorch e Tensorflow Keras ospitati su Hugging Face. Gli analisti ne hanno trovato un centinaio con qualche forma di funzionalità dannosa. Come riportato dalla società di sicurezza: “È fondamentale sottolineare che, quando ci riferiamo a modelli dannosi, intendiamo specificamente quelli che ospitano payload utili reali e dannosi. Questo conteggio esclude i falsi positivi, garantendo una rappresentazione autentica della distribuzione degli sforzi volti alla produzione di modelli dannosi per PyTorch e Tensorflow su Hugging Face”. Un caso evidenziato di un modello PyTorch che è stato caricato di recente da un utente chiamato “baller423” e che da allora è stato rimosso da Hugging Face, conteneva ad esempio un payload che gli dava la capacità di stabilire una shell inversa su un host specificato (210.117.212.93).

JFrog ha trovato lo stesso payload connesso ad altri indirizzi IP in istanze separate. Ciò suggerisce la possibilità che i suoi operatori siano ricercatori di intelligenza artificiale piuttosto che hacker. Tuttavia, la loro sperimentazione è ancora rischiosa e inappropriata. JFrog afferma che alcuni dei payload dannosi potrebbero far parte di una ricerca sulla sicurezza. Questa potrebbe essere volta ad aggirare le misure di sicurezza su Hugging Face e raccogliere bug bounties. Dal momento che i modelli pericolosi diventano pubblicamente disponibili, il rischio è reale e non dovrebbe essere sottovalutato. I modelli AI ML possono comportare rischi significativi per la sicurezza e questi non sono stati discussi con la dovuta diligenza dalle parti interessate. I risultati di JFrog evidenziano questo problema e richiedono un'elevata vigilanza e misure proattive per salvaguardare l'ecosistema da attori malintenzionati.