L’espressione Weapon of Math Destruction è impiegata dall’Autrice per riferirsi ad alcune modalità di utilizzo dei Big Data che, nonostante la promessa di creare efficienza e giustizia, finiscono per causare ingiustizia, disuguaglianza e, in ultima analisi, per indebolire la democrazia, trasformandosi, per l’appunto, in armi di distruzione matematica.
Il libro è incentrato proprio sul lato oscuro dei Big Data, che viene “smascherato” nel corso dei vari capitoli, attraverso l’analisi di numerosi casi presi in considerazione dall’Autrice, al termine dei quali salta subito all’occhio la pervasività acquisita dalle tecnologie, caratterizzando ormai molti dei momenti rilevanti (o potenzialmente tali) della vita di ogni individuo: andare al college, ottenere un prestito, candidarsi per un posto di lavoro, stipulare un’assicurazione.
“Welcome to the dark side of Big Data”
Un’ottima domanda da cui partire per comprendere il fenomeno delle WMDs è la seguente: cos’è un modello matematico? La centralità di questa domanda dipende dal fatto che gli algoritmi non sono altro che modelli matematici.
Come spiega in maniera chiara l’Autrice, i modelli matematici possono essere descritti come una semplificazione del mondo esterno. Per tale ragione qualsiasi modello, anche il più perfetto, sarà sempre viziato, dal momento che nessun può includere tutta la complessità della realtà. Anche gli algoritmi, dunque, sono delle semplificazioni del mondo esterno.
Ciò che è incluso o meno in un modello (input) riflette il giudizio e le priorità del suo ideatore: di conseguenza, i modelli riflettono obiettivi e ideologie. I modelli, dunque, non sono altro che “opinions embedded in mathematics”.
Quando si analizza un modello bisogna chiedersi non solo “chi” lo ha realizzato, ma anche “quale obiettivo” la persona vuole perseguire. Questa è la domanda chiave nell’analisi delle WMDs. Il problema delle WMDs si presenta infatti sempre al principio, al momento della loro configurazione; quando cioè i creatori/utilizzatori individuano gli obiettivi che si intendono perseguire.
Una precisazione è d’obbligo: non tutti gli algoritmi sono delle WMD. Proprio nel primo capitolo l’Autrice riporta un “healthy case study”: l’algoritmo impiegato dalle squadre di baseball per studiare i comportamenti degli avversari, prevederne le mosse e agire di conseguenza.
La ragione per cui questo algoritmo, a differenza di altri, è “innocuo” risiede nelle caratteristiche che lo contraddistinguono. Esso è, anzitutto, “trasparente”: chiunque può facilmente avere accesso alle statistiche utilizzate e comprendere, più o meno, come vengono interpretate; in secondo luogo il baseball ha un rigore statistico, dal momento che viene utilizzato un immenso data set, per lo più relativo alla performance dei giocatori. Infine, i dati sono costantemente aggiornati; l’algoritmo è, quindi, “trustworthy”, affidabile, in quanto mantiene un costante back-and-forth con la realtà. Infine questi modelli utilizzati dalle squadre di baseball sono costruiti sulla base di dati statistici presi direttamente dalle partite, non su proxies.
Cominciano quindi a delinearsi le caratteristiche di quei modelli che, invece, non sono healthy, ma armi di distruzione: opacity, scale, damage. Ciascuno dei casi presi in considerazione dall’Autrice presenta queste tre caratteristiche.
Prendiamo ad esempio uno dei più “scioccanti”: i software di programmazione dei turni di lavoro, utilizzati specialmente dalle grandi catene del settore food and beverage. Il software, come qualsiasi altro modello, viene creato utilizzando una serie di dati; la scelta di questi ultimi, come abbiamo visto prima, dipende dall’obiettivo che gli utilizzatori vogliono perseguire: nel caso specifico, un aumento dei profitti. Si è osservato che un pomeriggio di pioggia comporta generalmente un maggior afflusso di persone nei cafè oppure una partita di football il venerdì sera si accompagna a un considerevole flusso di persone nelle strade prima e dopo il match, ma non durante; da ciò consegue la necessità di avere a disposizione un maggior numero di dipendenti nelle ore “di punta” e, al contrario, di diminuirne la presenza o di chiudere addirittura il locale in altre fasce orarie. Fin qui le considerazioni sono decisamente banali e normali. Dov’è allora il problema? Dov’è l’arma di distruzione? Con l’obiettivo di massimizzare il profitto e diminuire i costi (del personale) il software – sulla base dell’osservazione dei dati della specie di quelli sopra indicati – elabora i sistemi di turnazione; i dati, tuttavia, cambiano in continuazione (il match, ad esempio, può tenersi una volta di sabato e un’altra volta di mercoledì) e ciò significa un conseguente continuo aggiustamento dei turni. Il personale può ricevere indicazioni sui propri turni con un preavviso ridicolo. Addirittura è stato coniato un verbo – clopening – per descrivere l’attività di un dipendente che lavora fino alla chiusura del locale e vi fa ritorno poche ore dopo, prima dell’alba, per provvedere all’apertura (il NYT ha dedicato un articolo a una lavoratrice in questa condizione nel 2014).
Questo software, come dimostra l’Autrice, è una WMD. Infatti si applica su larga scala, è opaco, nel senso che i dati di cui si alimenta non sono trasparenti e, quindi contestabili; il suo utilizzo determina il c.d. feedback loop: la schedule caotica rende impossibile organizzare il tempo per un altro lavoro o per studiare, “imprigionando” quelli che l’Autrice definisce low-wage workers e diminuendo le possibilità di un miglioramento della propria vita, da un punto di vista sia economico che sociale. È, infine, un’arma di distruzione perché provoca danni nei confronti delle fasce della popolazione più disagiate e “indifese”, come la maggior parte delle WMD, accrescendo le diseguaglianze e minando la democrazia.
Quest’ultimo aspetto è ancor più evidente nei settori del law-enforcement e dell’amministrazione della giustizia (Capitolo 5 “Justice in the Age of Big Data”). Anche qui, come in altri casi studiati nel testo, i software analizzati sono stati creati in partenza con intenti lodevoli: ottimizzazione delle risorse e maggiore imparzialità. Ad esempio, gli algoritmi predittivi di cui si servono molte stazioni di polizia nelle maggiori città americane (NY, Philadelphia, Detroit, ecc.) sono stati definiti dai creatori stessi “blind to race and ethnicity”. Al contrario, gli input principali di cui sono “nutriti” riguardano le tipologie di crimini e le aree in cui si verificano maggiormente; un modello, almeno in linea di principio, equo e non discriminatorio. Ma è davvero così?
La risposta è no. L’Autrice spiega, infatti, come molto spesso questi algoritmi vengono alimentati con informazioni relative a crimini non gravi (spaccio e consumo di piccole dosi di sostanze stupefacenti, vagabondaggio, scippi e borseggi). Accade però che questi reati siano endemic nei quartieri periferici e più poveri delle città (tanto da essere definiti “antisocial behavior”). Dal momento che il software indirizzerà la polizia in queste aree, si viene a creare il feedback loop: la polizia, infatti, genererà a sua volta nuovi dati con cui verrà alimentato l’algoritmo, che a sua volta continuerà a indirizzare le forze dell’ordine verso quelle stesse aree. Ecco qui la caratteristica della WMD (nel caso analizzato, opacity e scale sono connaturati).
A differenza dell’algoritmo utilizzato nel settore food and beverage, che è orientato esclusivamente al profitto e, quindi, produce vantaggi solo in capo all’azienda che lo utilizza, quello impiegato dalle forze di polizia produce effetti positivi per la comunità: dai dati raccolti dall’Autrice emerge, infatti, una significativa riduzione dei crimini.
Abbiamo inoltre detto che questo software è imparziale perché non tiene conto della razza o dell’etnia, ciò che, specialmente negli Stati Uniti, costituisce un elemento di non poco conto. Ma è davvero così? Bisogna infatti considerare che i quartieri più poveri sono anche quelli più densamente popolati da neri e ispanici che risulteranno conseguentemente più colpiti rispetto ai bianchi. Ecco qui il risultato ultimo delle WMD: inequality e weakening of democracy.
Tutti i casi analizzati nel testo, anche quelli che in partenza presentano le migliori intenzioni, finiscono per produrre questo risultato. Accade per i modelli impiegati dai dipartimenti di Human Resources delle grandi aziende, per quelli che calcolano il premio da corrispondere nei contratti di assicurazione, per l’accesso al college, per l’erogazione di un finanziamento da parte di un istituto creditizio. Le vittime “predilette” di queste armi sono le fasce più basse della popolazione anche se, per alcuni settori, sono anche le fasce medio-alte a subirne le conseguenze negative (ciò accade, ad esempio, per l’accesso al college, soprattutto quelli con un rank più elevato o per l’accesso al mondo del lavoro, quando la storia clinica – sì, avete capito bene, la storia clinica – di un candidato pesa sulla valutazione).
Ciò che è grave è l’applicazione su larga scala di questi software (ad esempio, i sistemi di reclutamento del personale automatizzati, negli Stati Uniti, sono utilizzati nel 60/70% dei casi – dati del 2016) e l’impossibilità di contestarne il funzionamento. Molte società tengono nascosti i risultati dei loro algoritmi (talvolta l’esistenza stessa), adducendo come giustificazione il fatto che si tratti di proprietà intellettuale.
Come arginare la distruzione di massa causata da queste armi matematiche?
La parola chiave in tal caso è trasparenza. Gli algoritmi, i modelli e software utilizzati, gli ideatori e utilizzatori “must deliver transparency”. In che modo? Anzitutto, rendendo pubblici gli input utilizzati per realizzare un dato strumento e, soprattutto, gli obiettivi che con esso si intendono realizzare. A questo punto, secondo l’Autrice, è possibile condurre degli “algorithmic audits” e valutare un modello in termini di correttezza ed equità. La trasparenza è, dunque, lo strumento che consente di disarmare le WMDs.
Un dato sicuramente confortante è che, rispetto al passato, c’è una maggiore consapevolezza dei rischi relativi all’intelligenza artificiale, sia da parte delle istituzioni che dell’opinione pubblica. L’Autrice menziona alcune iniziative intraprese da importanti università americane, come il Web Transparency and Accountability Project di Princeton, “toward auditing algorithms”.
Con particolare riguardo all’Europa degna di menzione è la raccomandazione del Consiglio d’Europa agli Stati Membri “on the human rights impacts of algorithmic systems”, con cui si chiede ai governi di “review their legislative frameworks and policies as well as their own practices with respect to the procurement, design, development and ongoing deployment of algorithmic systems to ensure that they are in line with the guidelines set out in the appendix to this recommendation”. Ma anche l’iniziativa delle amministrazioni di Amsterdam ed Helsinki per rendere trasparenti gli algoritmi utilizzati per offrire servizi pubblici ai cittadini (ne abbiamo parlato qui).