Un algoritmo di Twitter è sessista?

Qualche tempo fa avevamo discusso qui su HTML.it le possibili conseguenze legate al cosiddetto problema dell'AI Bias. Si tratta, in sostanza, di un comportamento errato di un algoritmo di machine learning, legato ad un dataset mal bilanciato, che spesso finisce per generare comportamenti errati ed imprevisti, che possono essere interpretati come discriminatori.

L'errata definizione del dataset non è però necessariamente l'unico motivo che può portare ad un'interpretazione discriminatoria di un algoritmo. Ed un esempio potrebbe essere quello che ha recentemente notato un utente di Twitter, quando ha deciso di allegare ad un tweet le due foto seguenti, con il preciso scopo di valutare se l'algoritmo che le avrebbe ritagliate per la visualizzazione in anteprima fosse "sessista" o meno:

Nonostante le due immagini fossero composte da due foto identiche, ma posizionate in posizioni diverse, l'algoritmo che stabilisce l'area di cropping ha selezionato sempre l'uomo, come si vede dal seguente screenshot del tweet summenzionato:

L'algoritmo di Twitter è sessista?

Questo strano comportamento dell'algoritmo di cropping, unitamente alla provocazione dell'utente summenzionato, ha fatto partire una lunga discussione sull'argomento. Alcuni utenti hanno semplicemente sdrammatizzato, altri invece hanno preso la questione in maniera molto seria.

Ma è giusto considerare l'algoritmo "sessista"? Rispondere a tale domanda non è semplice, e con ogni probabilità non lo è nemmeno la soluzione di questo problema. Per capire quanto sia complesso l'argomento, citiamo un secondo test, sempre dello stesso utente di Twitter, che ha modificato luminosità e contrasto dell'immagine della donna, riprovando a twittare le due foto modificate. Il risultato del cropping, stavolta, ha selezionato solo la donna:

Verrebbe da pensare, quindi, che l'algoritmo tutto sommato non ha nulla di veramente discriminatorio. Eppure, la dipendenza da luminosità, contratto e, più in generale, dai colori dei volti, implicherebbe anche una dipendenza dal colore della pelle. Verrebbe quindi da chiedersi se lo stesso algoritmo possa rischiare di preferire foto di persone che hanno un certo colore delle pelle, a quelle di chi ha una carnagione diversa.

L'algoritmo di Twitter è razzista?

La domanda a questo punto si sposta dal sessismo al razzismo, ma il discorso è pressoché identico. Questo algoritmo è discriminatorio?

La vera risposta non possiamo saperla, ma è verosimile che non ci sia nulla di intenzionale in queste scelte. Semmai, quello fin qui discusso è un ottimo esempio che mostra come affidare una scelta, seppur apparentemente banale, ad una sorta di "black box" come buona parte degli algoritmo di machine learning, rischia di produrre conseguenze inattese e potenzialmente gravi.

È quindi importante prestare molta attenzione alle applicazioni dell'intelligenza artificiale e del machine learning in tutti i contesti, valutando in modo molto oculato i possibili problemi che ne possono derivare, e magari anticipandoli con lo sviluppo di soluzioni che ne riducano l'occorrenza.