AI: tool musicali usati per creare brani che incitano all’odio

Degli utenti malintenzionati stanno abusando degli strumenti AI per creare canzoni omofobiche, razziste e propagandistiche. Inoltre, tali attori diffondono anche guide utili per mostrare ad altri utenti come creare tali brani. A scoprirlo è stato ActiveFence, un servizio per la gestione di operazioni di fiducia e sicurezza su piattaforme online. Secondo quanto riportato, da marzo si sarebbe verificato un picco di post all’interno delle community legate all’incitamento all’odio su come utilizzare in modo improprio gli strumenti di creazione musicale AI per scrivere canzoni offensive rivolte a gruppi di minoranza. Le canzoni generate e condivise in questi forum sono di vario genere. Queste mirano a incitare all’odio verso le coorti etniche, di genere, razziali e religiose.  Le canzoni che diffondono odio non sono un fenomeno nuovo. Tuttavia, vi è il timore che, con l'avvento di strumenti gratuiti e facili da usare, queste possano diffondersi in modo più rapido e semplice.

AI: come gli utenti aggirano i filtri per creare canzoni razziste, violente e omofobiche

Strumenti AI per generare musica, come Udio e Suno, consentono agli utenti di aggiungere testi personalizzati alle canzoni generate. Secondo ActiveFence, sebbene vi siano misure di sicurezza per filtrare insulti e alle parole discriminatorie, gli utenti hanno trovato soluzioni per aggirare tali barriere. Ad esempio, gli utenti di un forum di suprematisti bianchi hanno usato termini alternativi e offensivi, come "jooz" invece di "Jews" (ebrei) e "say tan" invece di "Satana". In questo modo sono riusciti a bypassare i filtri dei contenuti. Alcuni utenti hanno suggerito di modificare gli spazi e l’ortografia quando si fa riferimento ad atti di violenza. ActiveFence ha trovato link a canzoni generate dall’AI che ripetevano a pappagallo teorie del complotto sugli ebrei. Inoltre, vi erano anche canzoni contenenti slogan associati ai gruppi terroristici, come ISIS e Al-Qaeda, o che glorificano la violenza sessuale contro le donne.

ActiveFence sostiene che le canzoni hanno un peso emotivo che dona loro una carica particolarmente potente per i gruppi di odio e di guerra politica. Come ricordato dal portavoce di ActiveFence: “L'intelligenza artificiale rende i contenuti dannosi più attraenti: pensa a qualcuno che predica una narrazione dannosa su una determinata popolazione e poi immagina qualcuno che crea una canzone in rima che renda facile per tutti cantare e ricordare. Rafforzano la solidarietà di gruppo, indottrinano i membri dei gruppi periferici e sono anche usati per scioccare e offendere gli utenti di Internet non affiliati”. ActiveFence chiede alle piattaforme di generazione musicale di implementare strumenti di prevenzione e condurre valutazioni di sicurezza più approfondite. Tuttavia, le soluzioni potrebbero rivelarsi fugaci man mano che gli utenti scoprono nuovi metodi per aggirare la moderazione.