Cory Doctorow: Zuckerberg e l’incoscienza morale

Per vent’anni i difensori della privacy hanno suonato l’allarme a proposito della sorveglianza online commerciale e del modo in cui le aziende accumulano dossier dettagliatissimi su di noi per aiutare quelli del marketing a mandarci pubblicità mirate. Questo allarme è rimasto inascoltato: la maggior parte della gente era poco convinta che la pubblicità mirata fosse efficace, perché le pubblicità che ricevevamo erano raramente convincenti e quando funzionavano era di solito perché i pubblicitari avevano capito cosa volevamo e si offrivano di vendercelo. La gente che aveva cercato divani vedeva pubblicità di divani, e se comprava un divano le pubblicità continuavano per un po’, perché i sistemi di personalizzazione pubblicitaria non erano abbastanza intelligenti da capire che i loro servizi non erano più richiesti, quindi che male c’era? Il caso peggiore era che i pubblicitari avrebbero sprecato il proprio denaro in pubblicità inefficaci; il caso migliore era che fare acquisti sarebbe diventato più conveniente, perché gli algoritmi predittivi ci avrebbero reso più facile trovare le cose che stavamo per cercare.

I difensori della privacy hanno cercato di spiegare che la persuasione era solo la punta dell’iceberg. I database commerciali erano bersagli ghiotti per le spie e per i ladri d’identità, per non parlare dei ricatti alle persone la cui scia di dati rivelava comportamenti sessuali, credenze religiose od opinioni politiche socialmente rischiose.

Ora stiamo vivendo il contraccolpo tecnologico e finalmente la gente sta tornando dai difensori della privacy a dire che avevamo ragione da sempre. Data una sorveglianza sufficiente, le aziende sono in grado di venderci qualunque cosa: Brexit, Trump, la pulizia etnica in Myanmar e le candidature elettorali di successo di bastardi assoluti come Erdogan in Turchia e Orban in Ungheria.

È molto bello che il messaggio che la privacy è importante stia finalmente raggiungendo un pubblico più ampio, ed è emozionante pensare che ci stiamo avvicinando a un punto di svolta per l’indifferenza verso la privacy e la sorveglianza.

Ma anche se il riconoscimento del problema della Big Tech è benvenuto, temo che la diagnosi sia sbagliata.

Il guaio è che stiamo confondendo la persuasione automatizzata con il targeting automatizzato. Le bugie risibili su Brexit, stupratori messicani e leggi della Sharia striscianti non hanno convinto persone altrimenti ragionevoli che l’alto sta in basso e che il cielo è verde. Semmai i sofisticati sistemi di targeting disponibili tramite Facebook, Google, Twitter e le altre piattaforme pubblicitarie della Big Tech hanno reso facile trovare le persone razziste, xenofobe, spaventate, arrabbiate che volevano credere che gli stranieri stavano distruggendo il loro paese mentre venivano finanziati da George Soros.

Ricordiamoci che le elezioni di solito si decidono sul filo di lana, anche per i politici che hanno mantenuto le proprie cariche per decenni con margini esigui. il 60% dei votanti è una vittoria eccellente. Ricordiamoci, inoltre, che il vincitore nella maggior parte delle elezioni è il partito degli astenuti, perché moltissimi elettori non votano. Se si riesce a motivare anche solo una piccola quantità di questi non votanti in modo che vadano a votare, anche elezioni sicure possono diventare incerte. Se i margini sono stretti, avere un modo economico per raggiungere tutti i membri latenti del Ku Klux Klan di un distretto e informarli con discrezione che Donald J. Trump è l’uomo che fa per loro stravolge tutto.

Cambridge Analytica è come un mentalista da palcoscenico: fa qualcosa che richiede molto lavoro e finge che sia qualcosa di soprannaturale. Un mentalista da palcoscenico si addestra per anni a memorizzare rapidamente un mazzo di carte e poi dice che può indovinare la tua carta grazie ai suoi poteri da sensitivo. Non assisterai mai ai suoi esercizi preparatori di memorizzazione, tediosi e per nulla affascinanti. Cambridge Analytica usa Facebook per trovare i cretini razzisti e per dire loro di votare per Trump, e poi dichiara di aver scoperto una tecnica mistica per convincere persone altrimenti ragionevoli a votare per dei maniaci.

Non voglio dire che la persuasione sia impossibile. Le campagne automatizzate di disinformazione possono inondare il canale di resoconti contraddittori e apparentemente plausibili della situazione attuale, rendendo difficile per un osservatore comune dare un senso agli eventi. La ripetizione a lungo termine di una narrativa coerente, anche una palesemente insensata, può creare dubbi e trovare seguaci: pensate ai negazionisti dei cambiamenti climatici o ai complottismi su George Soros o al movimento antivaccinista.

Ma questi sono processi lunghi e lenti, che producono piccoli cambiamenti nell’opinione pubblica nel corso di anni, e funzionano meglio quando ci sono altre condizioni che li sostengono: per esempio i movimenti fascisti, xenofobi e nativisti che sono le ancelle dell’austerità e delle privazioni. Quando sei a corto di tutto da tanto tempo, sei pronto a recepire i messaggi che incolpano i tuoi vicini per averti privato delle tue legittime spettanze.

Ma non abbiamo bisogno della sorveglianza commerciale per creare le folle inferocite: Goebbels e Mao ci sono riusciti benissimo usando tecniche analogiche.

Facebook non è un raggio per il controllo mentale. È uno strumento per trovare gente che ha caratteristiche insolite, difficili da localizzare, non importa se queste caratteristiche sono “persona che sta pensando di comprare un frigorifero nuovo”, “persona che ha la stessa malattia rara che hai tu” o “persona che potrebbe partecipare a un pogrom genocida”, e per poi offrire a queste persone un bel frigo doppio o delle fiaccole [tiki torches usate come simbolo dai razzisti americani] mentre si mostra loro una conferma sociale della desiderabilità di questo loro comportamento, sotto forma di altra gente (o bot) che sta facendo la stessa cosa, così si sentono parte di una folla.

Anche se i raggi per il controllo mentale restano fantascienza, Facebook e le altre piattaforme di sorveglianza commerciale sono comunque preoccupanti, e non solo perché consentono a persone con visioni del mondo estreme di trovare i propri simili. Raccogliere enormi dossier su ogni persona al mondo fa paura già di per sé. In Cambogia, il governo autocratico usa Facebook per identificare i dissidenti, arrestarli e torturarli; la US Customs and Border Protection [ente di protezione delle frontiere statunitensi] usa i social media per considerare colpevoli per prossimità coloro che visitano gli Stati Uniti e impedisce a questi visitatori di entrare nel paese sulla base delle loro amicizie, delle loro affiliazioni e dei loro interessi. Poi ci sono i ladri d’identità, i ricattatori e i truffatori, che usano i dati degli enti di valutazione del credito, i dati degli utenti che sono stati trafugati e disseminati e i social media per rovinare la vita della gente. E infine ci sono gli hacker, che potenziano i propri attacchi di “social engineering” rastrellando informazioni personali per creare impostori convincenti che ingannano i loro bersagli e li inducono a rivelare informazioni che consentono loro di penetrare nelle reti sensibili.

Va di moda trattare le disfunzioni dei social media come il risultato dell’ingenuità dei primi tecnologi, che non sono stati capaci di prevedere questi esiti. La verità è che la capacità di costruire servizi simili a Facebook è piuttosto comune. Quella che è rara è l’incoscienza morale necessaria per farlo.

Il fatto è che è sempre stato evidente che spiando gli utenti di Internet si poteva migliorare l’efficacia delle pubblicità. Non tanto perché spiare ti offre intuizioni fantastiche di nuovi modi per convincere la gente a comprare prodotti, ma perché attesta quanto sia inefficace il marketing. Quando il tasso di successo atteso di una pubblicità è ben al di sotto dell’uno per cento, raddoppiare o triplicare la sua efficacia ti lascia comunque con un tasso di conversione inferiore all’un per cento.

Ma è stato altrettanto evidente fin dall’inizio che ammassare immensi dossier su chiunque usi Internet avrebbe potuto causare problemi reali a tutta la società; problemi infinitamente più grandi di quei minuscoli vantaggi che quei dossier avrebbero prodotto per i pubblicitari.

È come se Mark Zuckerberg si fosse svegliato una mattina e si fosse reso conto che gli stracci imbevuti di petrolio che stava accumulando nel suo garage si potevano raffinare per estrarne un greggio di bassissima qualità e di infimo valore. Nessuno sarebbe stato disposto a pagare granché per quel petrolio, ma gli stracci erano tanti, e finché nessuno gli chiedeva di risarcire gli inevitabili roghi che sarebbero avvenuti per il fatto di aver riempito i garage del mondo di stracci imbevuti di petrolio, Zuckerberg avrebbe potuto incassare un bel guadagno.

Dieci anni dopo il mondo è in fiamme e stiamo cercando di dire a Zuckerberg e ai suoi amici che dovranno risarcire i danni e installare gli impianti antincendio che chiunque si fosse messo ad immagazzinare stracci impregnati di petrolio avrebbe dovuto pagare sin dall’inizio, e l’industria della sorveglianza commerciale non ha assolutamente intenzione di considerare nulla del genere.

Il motivo è che i dossieri riguardanti miliardi di persone hanno il potere di causare danni quasi inimmaginabili, eppure ogni singolo dossier fa incassare solo qualche dollaro l’anno. Affinché la sorveglianza commerciale sia remunerativa, deve scaricare sulla società tutti i rischi legati alla sorveglianza di massa e privatizzare tutti i guadagni.

C’è una parola antica per questa cosa:. corruzione. Nei sistemi corrotti, pochi malfattori costano miliardi a tutti gli altri per incassare milioni. Il risparmio che può avere una fabbrica scaricando inquinanti nei bacini acquiferi è molto più piccolo dei costi che subiamo tutti per il fatto di essere avvelenati dagli scarichi. Ma i costi sono ampiamente distribuiti, mentre i guadagni sono fortemente concentrati, per cui chi trae beneficio dalla corruzione può sempre spendere più delle proprie vittime per rimanere impunito.

Facebook non ha un problema di controllo mentale: ha un problema di corruzione. Cambridge Analytica non ha convinto della gente di buon senso a diventare razzista: ha convinto i razzisti a diventare elettori.