Gli algoritmi possono mentire e ingannare, ma possono essere fermati?

Gli algoritmi possono determinare se si ottiene un mutuo o quanto si paga per l'assicurazione. Ma a volte si sbagliano e a volte sono progettati per ingannare.

Molti algoritmi vanno male involontariamente. Alcuni di loro, tuttavia, sono fatti per essere criminali. Gli algoritmi sono regole formali, generalmente scritte in codice informatico, che fanno previsioni su eventi futuri basati su schemi storici. Per addestrare un algoritmo è necessario fornire dati storici e una definizione di successo.

Negli ultimi decenni abbiamo visto la finanza essere subentrata dagli algoritmi. Gli algoritmi di trading utilizzano dati storici per prevedere i movimenti del mercato. Il successo di quell'algoritmo è una mossa prevedibile del mercato e l'algoritmo è vigile per i modelli che sono storicamente accaduti poco prima di quella mossa. I modelli di rischio finanziario utilizzano anche cambiamenti storici del mercato per prevedere gli eventi cataclismici in un senso più globale, quindi non per un singolo titolo ma piuttosto per un intero mercato. Il modello di rischio per i titoli garantiti da ipoteca era notoriamente cattivo - intenzionalmente - e la fiducia in quei modelli può essere biasimata gran parte della scala e dei conseguenti danni causati dalla crisi finanziaria di 2008.

Dal 2008, abbiamo sentito meno notizie dagli algoritmi in finanza e molto di più dagli algoritmi dei big data. L'obiettivo di questa nuova generazione di algoritmi è stato spostato da mercati astratti a individui. Ma la funzionalità sottostante è la stessa: raccogliere dati storici sulle persone, profilare il loro comportamento online, posizione o risposte ai questionari e utilizzare quell'enorme set di dati per prevedere i loro acquisti futuri, il comportamento di voto o l'etica del lavoro.

La recente proliferazione nei modelli di big data è passata in gran parte inosservata dalla persona media, ma è sicuro dire che i momenti più importanti in cui le persone interagiscono con grandi sistemi burocratici ora coinvolgono un algoritmo sotto forma di un sistema di punteggio. Entrare al college, ottenere un lavoro, essere valutato come lavoratore, ottenere una carta di credito o assicurazione, votare e persino di polizia sono in molti casi eseguiti in modo algoritmico. Inoltre, la tecnologia introdotta in queste decisioni sistematiche è in gran parte opaca, anche per i loro creatori, e finora è in gran parte sfuggita a una regolamentazione significativa, anche quando fallisce. Ciò rende ancora più importante e urgente la domanda su quale di questi algoritmi funzioni per nostro conto.

Ho una gerarchia a quattro livelli quando si tratta di algoritmi sbagliati. Nella parte superiore ci sono i problemi involontari che riflettono i pregiudizi culturali. Ad esempio, quando la professoressa di Harvard Latanya Sweeney ha scoperto che Google cerca nomi percepiti come neri annunci generati associati ad attività criminali, possiamo presumere che non esistesse un ingegnere di Google che scrivesse codice razzista. In effetti, gli annunci erano stati addestrati per essere dannosi dagli utenti precedenti della ricerca di Google, che avevano maggiori probabilità di fare clic su un annuncio del casellario giudiziario quando cercavano un nome dal suono nero. Un altro esempio: il Risultato di ricerca di immagini Google per "capelli non professionali", che ha restituito quasi esclusivamente donne di colore, è addestrato in modo simile dalle persone che pubblicano o fanno clic sui risultati di ricerca nel tempo.

Leggi la storia completa qui ...