Ivana Bartoletti, Technical Director per la privacy di Deloitte, autrice del libro appena uscito An Artificial Revolution: On Power, Politics and AI (di cui non lascio volontariamente un link), intervistata su La lettura del 31 maggio, alla domanda di Luigi Ippolito “Ma non è un caso che l’assistente virtuale sia sempre una donna…” risponde come indicato nel riquadro qui sopra:
Quella rappresentata da Alexa è una forma di servitù digitale: lei non è lì per contraddirti, non può ribattere, può solo eseguire i comandi. Ormai anche i bambini le impartiscono ordini. E il motivo è che a programmarla sono i maschi.
A onor del vero, nel resto dell’intervista le sue affermazioni sono più condivisibili, e tra l’altro a un certo punto Bartoletti contraddice sé stessa, notando come anche se le programmatrici aumentassero di numero rimarrebbe il problema degli amministratori delegati maschi. (E in effetti mi piacerebbe sapere quali dati ha sui programmatori di Alexa, visto che lei stessa nota come in India per esempio ci sono molte più donne che uomini a programmare). Ma restiamo su quella frase. Potremmo chiederci cosa succederebbe se fossero state le donne a programmare Alexa. Le capiterebbe di rispondere “No, ho mal di testa”? O magari “Pensi sempre a te stesso e mai a me”? O ancora “Non c’è niente che non va”? Oppure, se almeno noi vogliamo lasciare da parte gli stereotipi sessisti e rimanere sul pezzo, cioè sul ruolo dell’intelligenza artificiale, si potrebbe comportare come gli ascensori della Società Cibernetica Sirio, che poiché funzionano grazie alla “percezione temporale defocalizzata” che permette loro di sapere in anticipo quando stai arrivando davanti alle loro porte e trovarsi lì, «hanno sviluppato un forte senso di frustrazione causato dalla consapevolezza di doversi limitare ad andare su e giù, giù e su. Così, come forma di protesta esistenziale, hanno provato per breve tempo ad avanzare la proposta di uno spostamento in senso laterale, poi hanno preteso di avere parte nella decisione di quale piano scegliere, e infine, delusi, si sono rifugiati in cantina a smaltire la depressione.»?[1]
Seriamente. A parte che c’è chi fa notare come la scelta di una voce femminile per questi assistenti sia legata a strategie di marketing – ma magari anche i capi del marketing sono maschi – e che ormai buona parte di essi danno la possibilità di scegliere tra una voce femminile e una maschile, il punto è un altro. Io non sono riuscito a capire se secondo Bartoletti un bambino assocerebbe pavlovianamente un “obbediente servo” al mondo femminile, solo perché la voce dell’assistente è femminile – e qui evito di commentare – oppure il problema è quello della “servitù digitale” degli assistenti. Io non sopporto gli assistenti vocali. Forse è perché qualunque cosa sia stata inventata dopo che abbiamo compiuto trentacinque anni va contro l’ordine naturale delle cose,[2] ma a dire il vero avevo trentott’anni quando fu inventata Wikipedia. Non li sopporto perché non vedo come mi farebbero risparmiare tempo; se quello che mi serve è banale lo trovo comunque all’istante, se è complesso probabilmente non troveranno la risposta che mi interessa. Ma non riesco davvero a comprendere perché mai dovrebbero contraddirmi o ribattere. Siamo forse arrivati al Movimento Per La Liberazione Di Automi E Intelligenze Artificiali? Il prossimo passo sarà chiedere che quando digito una ricerca su Google o su DuckDuckGo mi possa ritornare la risposta “e perché vuoi saperlo”? Insomma, mi sa che Bartoletti oltre a tante idee abbia anche parecchi pregiudizi inconsci, il che non mi fa certo venire voglia di leggere quello che ha scritto. (Con i pregiudizi consci il problema è minore, proprio perché il lettore li può conoscere in anticipo e tarare la sua lettura).
[1] Per chi non avesse colto, la citazione è da Ristorante al termine dell’Universo di Douglas Adams, nella traduzione di Laura Serra.
[2] Anche questa è una citazione di Douglas Adams, sempre tradotta da Laura Serra, ma stavolta da Il salmone del dubbio.
Anche io evito accuratamente ogni assistente vocale. Chiedo a chi li usa: ma la voce maschile/femminile (o anche neutra) non è la prima cosa che chiede nella prima configurazione? Se così fosse tutto il discorso della Bartoletti non avrebbe ragione di esistere.
No, non è così
Guardi, pensavo più o meno le medesime cose quando, ieri, ho letto l’ultimo rant di “una tal Giulia Blasi” (autocit.): bloggeressa d’antan che per pigrizia ho ancora nel mio feed e che è invecchiata male assai divenendo, da tignosetta che era, una grande scassamarroni.
Ben vengano le tignosette, e che continuino a scassare i marroni alla gente come m.fisk e xmau!
A giudicare dalla Sua fotografia, Ella appare assai imberbe, a differenza del sottoscritto e del tenutario. Se adora -come par di comprendere- subire questo tipo di relazioni si può di certo compiacere: la vita, infatti, Le riserberà d’ora in avanti mille e mille occasioni in cui si troverà costretto ad umiliarsi per la grave colpa di possedere di un’appendice riproduttiva della quale Lei -anche questo si vede dalla foto di bravo ragazzo- sono certo che non avrà mai fatto uso improprio.
Molto maldestro questo tentativo di risultare… simpatico? I tuoi commenti sulle “femministe incazzate”, sulle “tignosette” e su “LGBTJUKSEHeQualcheLetteraAncoraCheNonSonoMicaTantoAggiornato” invece, più che maldestri sono molto sgradevoli. Da qui l’astio che esprimevo nel mio commento precedente. Ma non disturbiamo oltre il tenutario.
Che Lei creda che io volessi risultare simpatico conferma il giudizio che già mi ero personalmente fatto sulla Sua sinderesi. E tenga conto l’aggettivazione ostile, è sempre Lei che ha cominciato ad adoperarla, quindi si faccia una riflessione in foro interno, dacché il Suo comportamento ostile e rimuginoso è proprio all’opposto dell’aria politicamente corretta che desidererebbe mostrare al mondo.
Io sono sostanzialmente d’accordo con l’autrice, e ti posso dire che in generale come programmata la AI e’ un grosso problema, ed il bubbone scoppiera’ presto. Ma andiamo con ordine:
“E in effetti mi piacerebbe sapere quali dati ha sui programmatori di Alexa, visto che lei stessa nota come in India per esempio ci sono molte più donne che uomini a programmare”
Io ho lavorato a Bangalore per un certo periodo. Si’, ci sono piu’ programmatrici (nel mio gruppo su venti persone otto erano donne), ma tutte in posizioni marginali. Il comando, in India come in USA, e’ saldamente maschile.
Peraltro a mia saputa non tutto lo sviluppo di Alexa e’ in India…
Incidentalmente stavo preparando a tempo perso una presentazione per FSFe sul bias, cioe’ su come vengono “educate” le AI, e si’ l’effetto “maschio bianco benpensante” e’ molto evidente.
“come la scelta di una voce femminile per questi assistenti sia legata a strategie di marketing – ma magari anche i capi del marketing sono maschi”
Se ci fai caso Siri e Cortana pure sono voci femminili. Ma non ti sei mai chiesto come in tempi pre-internet le segreterie telefoniche aziendali erano fatte con voci femminili? I motivi li conosco in dettaglio e ti stupiranno: sin dagli anni ’60 sono stati fatti studi di psicologia comportamentale e si e’ visto che con netto vantaggio la voce femminile vince (uomo piu’ disponibile verso una donna, donna indifferente -> si fa).
Il sesso e’ qualcosa con connotazioni molto profonde, che piaccia o meno.
Ti posso dire che se la AI fosse fatta da donne, sarebbe molto diversa. Non piu’ giusta, sia ben chiaro, diversa. La AI non e’ un teorema, che fatto da un uomo od una donna rimane uguale: e’ una visone del mondo applicata ad un algoritmo.
Libero di crederci o meno, ma la AI forma la visione del mondo (perche’ attraverso le sue metriche fa vedere o meno certe connessioni), e forma anche la visione dei suoi utenti, che se ne accorgano o meno, e tu che non la usi non ti salverai, ci finisci dentro come tutti.
Beh, per esempio il gruppetto di programmatori indiani per HP NonStop che contattiamo quando non ci funziona qualcosa è guidato da una Priscilla ;-) (lo so, non ha senso parlare di casi singoli).
Sulle ragioni di una voce femminile, bastava aprire il link che avevo messo.
Ma resta il punto di base: qual è la correlazione tra la voce maschile/femminile e la programmazione fatta da maschi/femmine? E soprattutto: un’AI pensata da donne come sarebbe? Non si può fare una discussione se non si hanno i dati a disposizione, e al momento gli unici dati che vedo sono appunto gli slogan di Bartoletti (slogan, perché non hanno nulla dietro. Magari è solo perché quella è un’intervista e nel libro è spiegato tutto, ma non metterei la mano sul fuoco)
“E soprattutto: un’AI pensata da donne come sarebbe?”
Qui il discorso dei bias va alla grande.
In USA una universita’ insieme ad una notissima ditta ha fatto un programma di AI per diagnosticare alcuni tipi di tumore. Beh, chissa’ come mai ma nei neri non funzionava bene (ricercatori neri di AI sono pochissimi).
In generale un sistema di AI e’ tanto buono quanto il suo training. Le limitazioni peggiori pero’ sono i modelli impliciti, cioe’ quanto rimane fuori dal training. Se la qualita’ dei dati inseriti NON dipende dai ricercatori e dalla loro volonta’ ma da fattori esterni, la scelta delle fonti e’ invece del tutto arbitraria e definita anche dai presupposti culturali/ambientali dei ricercatori stessi.
E’ qui il nodo primario: il comportamento di una AI dipende anche da fattori squisitamente culturali, come la nazione di appartenenza dei suoi creatori, e dalla loro visione del mondo.
Ora io penso che tu sia d’accordo nel dire che uomini e donne non hanno la stessa visione del mondo, mediamente. Per quale motivo questa diversita’ non si potrebbe riflettere nella scelta dei training set, e quindi nella operativitita’ di un qualsiasi modello attuale di AI?
non è così semplice.
Si sa da decenni che non si possono applicare pedissequamente i test clinici fatti sui maschi alle femmine, e questo indipendemente dall’IA. E questo è stato un bel problema, proprio perché il campione di partenza era tipicamente maschile. Non essendo il mio campo, non so se ci sono stati anche studi sulle risposte farmacologiche legate alla razza, ma non mi stupirei della cosa. Ripeto, tutto questo è indipendente dall’intelligenza artificiale (o da chi sceglie le regole di partenza per i sistemi)
Per il resto, se vuoi ti faccio un’altra domanda: come sarebbe un’IA pensata da donne con training set (qualunque cosa sia in pratica) tarato sulle donne? e come sarebbe un assistente vocale pensato da donne con training set tarato sulle donne? (a parte le ovvie battute stereotipali sul fatto che non capirebbe il fuorigioco ma sarebbe molto più attento a definire i colori)
ma tornando al mio post, tutta questa discussione non ha nulla a che fare con la frase che ho selezionato (e tra l’altro il giornalista – vabbè, era un maschio – ha evidenziato quella sua domanda, quindi era il punto che saltava agli occhi).
Riguardo all’articolo di DrCommodore che citi, per chi guarda Sanremo siamo allo stesso punto della polemica di Francesco Renga che dichiarò che in quell’edizione del festival c’erano poche cantanti perché “La voce maschile è più gradevole”.
Quindi: se la voce maschile è “più gradevole” è un fatto biologico (quasi ontologico!), mentre se le donne col passare dei decenni abbassano il tono di voce di tot. Hz si tratta di cambiamenti sociali. Non potrebbe forse essere che questa incredibile gradevolezza della voce maschile sia anch’essa almeno un po’ un frutto di processi sociali? In tal caso varrebbe la pena cercare di sistemare un po’ le cose, e favorire la presenza di più donne a Sanremo.
Riguardo alla frase oggetto delle tue aspre critiche, quindi: il punto non è che dovrebbe ribellarsi o fare altre cose più o meno stereotipate. Il punto è che c’era da scegliere una voce per un oggetto servile, e tutti hanno pensato che la voce di default sarebbe stata femminile (pur avendo introdotto dopo anni la possibilità di scegliere, la voce predefinita resta generalmente femminile). Del resto questa era la domanda che poneva l’intervistatore.
Leggendo la presentazione del libro di Bartoletti, si capisce che l’argomento è soprattutto quello dei bias e degli stereotipi che stanno alla base dell’AI odierna e che vengono rafforzati dalla stessa. Insomma nessuno mette in dubbio come dovrebbe funzionare un assistente vocale (rispondendo alle domande); piuttosto, c’è da domandarsi quali idee di mondo hanno portato alla sua forma e quali idee di mondo esso reitera con le sue manifestazioni.
La domanda era “Ma non è un caso che l’assistente virtuale sia sempre una donna…”. La risposta – ribadisco – non è stata “perché i maschi hanno deciso che la voce femminile funzionava meglio”, oppure “chiediamoci prima perché si è sentito il bisogno di un’assistente vocale”, o ancora “ma lasciamo perdere gli assistenti vocali e parliamo della vera AI”, ma “perché Alexa può solo eseguire i comandi, e il motivo è che a programmarla sono i maschi.”
A me continua a non essere chiaro – e nessuno mi sta rispondendo – quali sarebbero le “idee di mondo” che hanno portato alla nascita dell’assistente vocale. (Ho anche dei dubbi sull’associare l’intelligenza artificiale a quello che fanno gli assistenti vocali, ma qui andremo fuori tema)
I vari assistenti vocali nascono per la pigrizia degli utenti: e’ piu’ semplice dire una cosa che scriverla. In primis l’assistente vocale e’ una soluzione alla nostra pigrizia. Diciamocelo: mediamente il maschio e’ piu’ pigro.
“Il punto è che c’era da scegliere una voce per un oggetto servile”
Mi sembra francamente una cazzata. Il navigatore di Google Maps non è per nulla servile, anzi dà ordini e talvolta rimproveri, ed è pure lui di default femminile.
Se avessero scelto una voca maschile, ci sarebbe qualche femminista che si sarebbe incazzata asserendo che Google non crede che una donna possa dare ordini?
Qui non abbiamo molte scelte: la voce può essere O maschile O femminile, tertium non datur (salvo che si voglia anche considerare il falsetto da Vizietto, ed allora apriti cielo con le associazioni LGBTJUKSEHeQualcheLetteraAncoraCheNonSonoMicaTantoAggiornato).
Sussumere _a posteriori_ che la scelta M o F sia stata fatta per motivi abietti è un esercizio facile, ma stupido.
*Ho anche dei dubbi sull’associare l’intelligenza artificiale a quello che fanno gli assistenti vocali*
E qui la femminista quadratica media comincerebbe il pistolotto sul fatto che gli assistenti vocali hanno la voce di donna e per questo non riconosci loro un’intelligenza…
Mah, io uso un sacco l’assistente vocale ma non credo di aver sviluppato particolari deviazioni psico-dominatorie per il fatto che ha una voce she/her/hers. Credo sia meglio ascotare Wagner alla bisogna. Semmai mi lamento perché parla e capisce una sola lingua, ti vuole rifilare contenuti per una sola nazione, ecc.
L’assistente lo uso perché mi permette di cambiare radio e fare i conti senza staccare le mani dalla tastiera anche perché la capacità di assistenza su domande diverse da “rispondi / riprendi / 2,53 diviso 11,72” è nulla e ben rappresentativa della stupidità naturale e sopratutto culturale di chi ne ha diretto lo sviluppo.
Ma se uno proprio vuole lagnarsi di un he/him/his c’è Beeb. O deve avere l’accento meridionale?