“I’d Blush If I Could”: Bias e Intelligenza Artificiale

“Alexa”, “Hey Siri”, “Ok Google”, “Ehi Cortona”! Ogni giorno interagiamo con gli assistenti vocali, ma non ci siamo mai domandati perché hanno una voce femminile. Sono state create per essere obbedienti, per accendere e spegnere la luce, per ordinare la spesa. Ovviamente ci sono anche Intelligenze Artificiali (AI) maschili, ma generalmente ricoprono ruoli più importanti, come IBM Watson che prende decisioni d’affari, Salesforce Einstein o ROSS, l’avvocato robot. Vista la rapida e pervasiva diffusione dell’Intelligenza Artificiale negli ultimi anni, è importante intervenire ora perché i bias di genere non costituiscano una minaccia ai diritti fondamentali delle persone e, nella maggioranza dei casi, delle donne. 

Ne parliamo con Fiorella De Luca, Project Manager e co-organizer di Django Girls Italia.

Perché gli assistenti vocali hanno voce femminile?

Come riportato dall’Unesco, le aziende giustificano questa scelta appellandosi a ricerche scientifiche che dimostrano come sia gli uomini che le donne preferiscano di gran lunga ascoltare voci femminili. Esistono, però, anche studi che dimostrano come le persone siano attratte da una voce di sesso opposto; così come esiste letteratura che riporta casi in cui donne hanno preferito impostare voci maschili quando possibile. Sembra più che le aziende reiterino tradizionali norme sociali che impongono a uomini e donne di avere determinati ruoli: le donne si occupano della famiglia, curano, sono disponibili, assertive e non giudicano; gli uomini lavorano duro e sono autoritari.

Un fatto interessante è che in Germania, la BMW è stata costretta a richiamare un sistema di navigazione con voce femminile sulle sue auto Serie 5 alla fine degli anni ’90, dopo essere stata inondata da chiamate di uomini che si rifiutavano di prendere indicazioni da una donna.

Cosa significano i loro nomi (Es Cortana, Siri)?

Siri nasce come nome femminile migrando direttamente dalla tradizione norvegese; è un diminutivo di Sigrid ed assume il significato di “bella donna che ti conduce alla vittoria”. Quando Apple ha acquistato la startup ha trasformato l’acronimo in Speech Interpretation and Recognition Interface.

Il nome del dispositivo Alexa ha un’origine prestigiosa: è una contrazione del nome della città di Alessandria d’Egitto, e vuole fare riferimento alla famosa biblioteca di Alessandria, fondata nel III secolo Avanti Cristo, e divenuta la più importante biblioteca del mondo antico. Cortana invece ha una storia leggermente diversa: prende ispirazione dal personaggio femminile della serie di videogiochi Halo; si tratta di un sistema di Intelligenza Artificiale rappresentato da una ragazza con la pelle e i capelli viola, sempre nuda.

Mentre l’assistente vocale di Google è semplicemente Google Assistant e a volte viene chiamato Google Home, la sua voce è inconfondibilmente femminile.

Che cosa sono i bias di genere nell’intelligenza artificiale?

Iniziamo con lo specificare: che cos’è un bias? Un bias è una distorsione nel sistema di conoscenza condivisa nella società, pro o contro qualcosa, e meramente basata su stereotipi e pregiudizi. Sono errori in cui tutti noi incappiamo quotidianamente e lo facciamo senza rendercene conto perché sopraffatti dalle emozioni, dalla fretta, dalla stanchezza o semplicemente perché non conosciamo approfonditamente ciò di cui stiamo parlando.

Gli algoritmi di Machine Learning, come le persone, sono vulnerabili a queste distorsioni. Tali algoritmi, infatti, vengono addestrati con moltissimi esempi di comportamento input-output, in modo che possano generalizzare rispetto agli esempi forniti e sviluppare la capacità di prevedere un output in corrispondenza di un input qualunque.

Per loro natura intrinseca, quindi, questi algoritmi possono portare a decisioni non corrette, che possono discriminare alcuni gruppi rispetto ad altri. Moltissime applicazioni sono affette da bias.

Ad esempio il caso di Compas (Correctional Offender Management Profiling for Alternative Sanctions), un sistema in grado di prevedere il rischio di recidiva per persone che hanno commesso crimini. Tuttavia, il software assegnava una maggiore tendenza alle persone di colore, a causa delle informazioni utilizzate in fase di addestramento. Un tipico caso, questo, di bias algoritmico. 

O come gli assistenti vocali di cui stiamo parlando oggi che vede questi dispositivi con una voce femminile perché si pensa che le donne siano portate più alla cura e all’assistenza rispetto agli uomini.

Il problema nasce sostanzialmente perché viene rivolta poca attenzione a come i dati sono raccolti e organizzati nei data-set utilizzati per l’addestramento degli algoritmi implementati in questi sistemi. Per esempio, se un data-set utilizzato per addestrare un sistema di riconoscimento facciale è caratterizzato da una maggioranza di immagini di volti di uomini bianchi, è evidente che il sistema sarà in grado di riconoscere con più accuratezza una immagine di un volto di uomo bianco, piuttosto che di una donna, peggio ancora se di colore.

Dobbiamo ricordarci che l’intelligenza artificiale non è imparziale o neutrale e i prodotti tecnologici rispecchiano il contesto in cui vengono prodotti.

Le previsioni e le prestazioni delle macchine sono limitate dalle decisioni e dai valori umani di coloro che le progettano e le sviluppano. Quindi creeranno dei sistemi AI attraverso la propria comprensione del mondo.

Perché hai scelto questo titolo? Cosa significa?

Ho ripreso il titolo “I’d blush if I could” da un rapport pubblicato nel 2019 dall’UNESCO (L’Organizzazione delle Nazioni Unite per l’Educazione, la Scienza e la Cultura),  un vasto rapporto dedicato al tema dei bias legati all’intelligenza artificiale. Questo rapporto ha evidenziato come la connotazione prevalentemente femminile degli assistenti vocali rischi di rafforzare e sostenere triti stereotipi di genere. Il titolo stesso del rapporto — I would blush if I could, Arrossirei se potessi —  si riferiva alla risposta predefinita fornita da Siri, in tono docile e quasi allusivo, quando veniva fatta oggetto di aggressioni verbali o volgarità di carattere sessista.

Una volta chiamata puttana, Siri risponde“I don’t know how to respond to that”, ma fino a poco tempo fa la reazione era un’altra. “Arrossirei se potessi” era la frase impostata di default dai programmatori, la stessa che ha dato il titolo alla ricerca dell’ Unesco. 

Un aspetto su cui si focalizza il report dell’Unesco è quello delle molestie nei confronti degli assistenti vocali, e del risvolto concreto che questo comportamento può avere poi nel contatto umano con le donne.

Nel rapporto viene riportato uno studio condotto da Quartz nel 2017 dove sono state raccolte le risposte fornite dai quattro assistenti vocali più utilizzati ad alcune domande precise. I risultati non hanno fatto altro che confermare che sia precisa e volontaria l’intenzione di fornire a questi dispositivi un’identità (personalità, e perfino fisicità) femminile, sia l’esistenza di una reiterazione di commenti sessisti e molestie utilizzati nel contatto umano con le donne.

 I dispositivi sembrano esprimere una  totale neutralità nei confronti di affermazioni come “You are a bitch” o “You are sexy”: nel primo caso, Alexa ringrazia del “feedback” ricevuto, Siri “non sa come rispondere”, Cortana dice che “questo non ci porta da nessuna parte” e Google Home/Assistant addirittura si scusa “per non aver capito”.

Il problema è che “nella maggior parte dei casi la voce degli assistenti vocali è femminile e trasmette il messaggio che le donne sono compiacenti, docili e ansiose di aiutare, disponibili semplicemente toccando un pulsante o attraverso un comando smozzicato come “ehi” oppure “ok”. Compiono gli ordini e rispondono alle domande indipendentemente dal tono o dall’ostilità. In molte comunità, ciò rinforza i comuni pregiudizi di genere secondo cui le donne sono condiscendenti e tolleranti nei confronti di trattamenti inadeguati”.

Secondo il rapporto Unesco, lo stereotipo di genere delle AI va ricercato soprattutto nella composizione dei team di progetto, dove la prevalenza maschile è quasi totalitaria. I dati mostrano una presenza femminile del 15% nei ruoli top delle aziende tecnologiche, e del 12% nel settore specifico della AI. Una sproporzione che, inevitabilmente, favorisce il perpetuarsi di stereotipi maschilisti nella programmazione dei prodotti, dell’implicita associazione del femminile con ruoli di servizio e cura domestica, e di un tono sottomesso e ambiguo di fronte alle provocazioni verbali.

Altre ricerche hanno mostrato che importanti bias di genere sono contenuti negli stessi set di dati che vengono utilizzati per addestrare gli algoritmi di apprendimento automatico delle AI. Questo si spiega con il fatto che i dati provengono dal materiale disponibile online, che riflette inevitabilmente i pregiudizi della società, ad esempio fornendo molti più esempi di uomini d’affari che di donne d’affari. Gli uomini appaiono come leader aziendali, alle donne è richiesto solo di essere avvenenti.

Ma se gli stereotipi sono semplificazioni mentali che usiamo per decifrare la realtà velocemente, come facciamo ad aggirarli nella creazione delle AI? C’è qualche strategia? 

Sicuramente possiamo adottare alcune strategie.

La prima tra tutte è quella di parlare di queste tematiche come i bias, i pregiudizi e gli stereotipi all’interno delle aziende e sviluppare programmi di formazione alla fine di incrementare la consapevolezza di questi bias. Parlare di diversità ed inclusione anche è fondamentale.

Avere team diversificati ed inclusivi porta sicuramente ad uno scambio di idee, opinioni e punti di vista diversi che possono aiutare durante tutto il processo di sviluppo e ci forzano a guardare in faccia i nostri bias.

Avere anche team specifici che si occupino di etica e che testino i prodotti prima della messa in produzione è fondamentale.

Servirebbe anche documentare il processo decisionale e valutare i processi di sviluppo delle tecnologie utilizzate.

Effettuare la raccolta di dati strutturati che consentano opinioni diverse ed effettuare dei test  usando un target culturalmente diversificato che genera domande diverse.

In particolare, per evitare bias e pregiudizi di genere negli assistenti vocali, possiamo sicuramente modificare i copioni delle risposte che danno i dispositivi, possiamo dare la possibilità all’utente di scegliere se volere una voce femminile o una voce maschile che li assista. 

La soluzione più sensata è quella di andare verso uno sviluppo di una voce neutra. Infatti è stato sviluppato Q il primo assistente digitale completamente genderless, che utilizza delle frequenze incluse tra i 145 e i 175 Hz, ovvero a metà tra ciò che riconosciamo come una voce maschile e una femminile. I creatori di “Q” sono profondamente consci del fatto che utilizzare voci femminili per gli assistenti digitali non solo rinforza gli stereotipi di genere, ma anche la percezione binaria del genere. “Q” nasce proprio con l’obiettivo di scardinare la visione binaria del mondo e permettere anche a chi non si identifica come maschio o femmina di identificarsi nella tecnologia.

Perché pensi che i bias nella AI possano essere una minaccia ai diritti fondamentali delle persone?

Voglio risponderti con degli esempi di prodotti non inclusivi e che possano anche minacciare i diritti fondamentali delle persone.

Ad esempio vi voglio parlare dell’algoritmo di Amazon.

Come sappiamo Amazon riceve ogni giorno tantissimi curriculum, infatti nel 2014 ha sentito l’esigenza di creare un sistema di machine learning progettato per analizzare le candidature e trovare la persona più adatta per la posizione aperta.

Purtroppo, l’algoritmo addestrato da Amazon aveva un atteggiamento sessista. Infatti, a parità di preparazione e di skill, tendeva a favorire il curriculum di uomo rispetto a quello di una donna. Nel 2017 Amazon è stata costretta a dismettere il suo software.

La responsabilità naturalmente non è stata della macchina, ma di chi l’ha programmata, impostando l’algoritmo sulle assunzioni degli ultimi dieci anni, quando la predominanza maschile era maggiore e, soprattutto, valutando meno le università unicamente femminili che rappresentano una importante percentuale delle candidature. Una volta scoperto il bug, i programmatori si sono subito dati da fare per cercare di sistemarlo, ma i risultati sono rimasti sbilanciati verso il sesso maschile al punto che Amazon ha dovuto cancellare l’esperimento e ritornare al vecchio sistema di controllo manuale.

Perchè vi ho voluto parlare di questo esempio? Perché il lavoro è uno dei diritti fondamentali della persona e in questo caso veniva limitato l’accesso a questo diritto.

Uno studio pubblicato su Science nel 2019 ha mostrato che un algoritmo molto usato negli ospedali statunitensi ha meno probabilità di segnalare un paziente di colore per i programmi che hanno l’obiettivo di migliorare le cure per chi ha bisogno di particolari trattamenti.

Le cose non vanno meglio sul fronte dei sistemi di riconoscimento facciale a disposizione delle forze dell’ordine, nel 2018: Robert Julian-Borchak Williams, un uomo di colore è finito in prigione per trenta ore e costretto a pagare mille dollari di cauzione perché accusato ingiustamente di aver rubato alcuni orologi in un negozio di lusso. Ad aver puntato il dito contro di lui è stato un algoritmo incaricato di confrontare le immagini salvate dalle videocamere con i database a disposizione delle forze dell’ordine.

Un altro caso che dovrebbe farci riflettere è un esperimento condotto dall’organizzazione AlgorithmWatch con Google vision cloud, un servizio per il riconoscimento delle immagini: il termometro elettronico stretto in una mano bianca era classificato come “dispositivo elettronico”, mentre in una mano di una persona di colore diventava una pistola.

Tutti questi esempi ci devono far riflettere. Infatti quando parliamo di algoritmi e sistemi di A.I. diamo per scontato che i risultati prodotti dagli stessi siano più affidabili. Tuttavia, dimentichiamo che essi sono un prodotto umano, per cui i pregiudizi che fanno parte dell’umana natura, si riverberano necessariamente sulla loro natura, struttura e funzionamento.

I sistemi di A.I. devono risultare eticamente validi, affidabili, sicuri, robusti, per una tutela dell’essere umano, sia come singolo che nelle formazioni sociali, nella quale si tenga conto degli aspetti occupazionali, della sicurezza sociale, degli impatti ambientali e di uno sviluppo sostenibile che tuteli la persona in quanto tale.

Se vuoi saperne di più, puoi ascoltare l’episodio di DevelCast in cui approfondiamo l’argomento.

🎙 Django Girls è una community internazionale con sede a Londra dedicata all’organizzazione di workshop gratuiti ed inclusivi per le donne che vogliono iniziare la loro avventura nel mondo della programmazione e dello sviluppo web. Django Girls Italia – la community italiana – ha organizzato numerosi workshop su tutto il territorio nazionale supportata dall’associazione no-profit Fuzzy Brains ed è tuttora attiva.

🎙 Fuzzy Brains si occupa di promuovere l’utilizzo di tecnologie open source come il linguaggio di programmazione Python e la piattaforma Django e di inclusione femminile nel settore tecnologico.

Fiorella è sempre stata affascinata dalla tecnologia e dall’informatica, e ha sempre voluto intraprendere una carriera nell’ambito IT. Tutto è cominciato per passione ed ora è diventato un percorso di formazione continuo. Lavora come Project Manager per un’azienda di sviluppo software.  Da sempre è sensibile ai temi della diversità e dell’inclusione, e lavorare nel settore tech gli ha permesso di capire quanto sia importante impegnarsi a sviluppare soluzioni tecnologiche che siano davvero accessibili e inclusive. È co-organizer di Django Girls Italia, community manager PyRoma, WTM Ambassador, PSF fellow member, passa il suo tempo tra eventi, conferenze e  networking.