Quando l'IA del linguaggio incontra la propaganda, nessuno è al sicuro

Sei seduto su una comoda sedia vicino al fuoco, in una fredda notte d'inverno. Forse hai una tazza di tè in mano, forse qualcosa di più forte. Apri una rivista su un articolo che volevi leggere. Il titolo suggeriva una storia su una nuova tecnologia promettente, ma anche potenzialmente pericolosa, sul punto di diventare mainstream e, dopo aver letto solo poche frasi, ti ritrovi coinvolto nella storia. Una rivoluzione sta arrivando nell'intelligenza artificiale, sostiene l'autore, e abbiamo bisogno, come società, di migliorare nell'anticiparne le conseguenze. Ma poi accade la cosa più strana: noti che lo scrittore ha, apparentemente deliberatamente, omesso l'ultima parola del primo .

La parola mancante salta nella tua coscienza quasi spontaneamente: ''l'ultima parola della prima paragrafo.'' Non c'è alcun senso di una query di ricerca interna nella tua mente; la parola ''paragrafo'' salta fuori. Potrebbe sembrare una seconda natura, questo esercizio di riempimento degli spazi vuoti, ma farlo ti fa pensare agli strati di conoscenza incorporati dietro il pensiero. Hai bisogno di una padronanza dell'ortografia e dei modelli sintattici dell'inglese; è necessario comprendere non solo le definizioni delle parole del dizionario, ma anche i modi in cui si relazionano tra loro; devi avere abbastanza familiarità con gli standard elevati dell'editoria di riviste per presumere che la parola mancante non sia solo un errore di battitura e che gli editori generalmente sono restii a omettere le parole chiave nei pezzi pubblicati a meno che l'autore non stia cercando di essere intelligente, forse cercando di usa la parola mancante per fare un punto il tuo intelligenza, con quanta rapidità un umano che parla inglese può evocare la parola giusta.

Prima di poter perseguire ulteriormente quell'idea, sei di nuovo nell'articolo, dove scopri che l'autore ti ha portato in un complesso edilizio nella periferia dell'Iowa. All'interno di uno degli edifici si trova una meraviglia della tecnologia moderna: 285,000 core di CPU aggiogati insieme in un gigantesco supercomputer, alimentato da pannelli solari e raffreddato da ventole industriali. Le macchine non dormono mai: ogni secondo di ogni giorno, sfornano innumerevoli calcoli, utilizzando tecniche all'avanguardia nell'intelligenza artificiale che prendono nomi come "discesa del gradiente stocastico" e "reti neurali convoluzionali". Si ritiene che l'intero sistema sia uno dei supercomputer più potenti del pianeta.

E cosa ci fa questa dinamo computazionale con tutte queste prodigiose risorse? Per lo più, sta giocando una specie di gioco, ancora e ancora, miliardi di volte al secondo. E il gioco si chiama: Indovina qual è la parola mancante.

Il complesso del supercomputer in Iowa gestisce un programma creato da OpenAI, un'organizzazione fondata alla fine del 2015 da una manciata di luminari della Silicon Valley, tra cui Elon Musk; Greg Brockman, che fino a poco tempo fa era stato chief technology officer del colosso dei pagamenti elettronici Stripe; e Sam Altman, all'epoca presidente dell'incubatore di start-up Y Combinator. Nei suoi primi anni, quando ha costruito la sua fiducia nel cervello della programmazione, i risultati tecnici di OpenAI sono stati per lo più oscurati dal potere stellare dei suoi fondatori. Ma le cose sono cambiate nell'estate 2020, quando OpenAI ha iniziato a offrire un accesso limitato a un nuovo programma chiamato Generative Pre-Trained Transformer 3, colloquialmente denominato GPT-3. Sebbene la piattaforma fosse inizialmente disponibile solo per una piccola manciata di sviluppatori, esempi della straordinaria abilità di GPT-3 con il linguaggio - e almeno l'illusione della cognizione - hanno iniziato a circolare sul web e attraverso i social media. Siri e Alexa avevano reso popolare l'esperienza di conversare con le macchine, ma questo era al livello successivo, avvicinandosi a una fluidità che somigliava a creazioni di fantascienza come HAL 9000 di "2001": un programma per computer in grado di rispondere a domande complesse e aperte in modo perfetto frasi composte.

Come campo, l'IA è attualmente frammentata tra una serie di approcci diversi, mirati a diversi tipi di problemi. Alcuni sistemi sono ottimizzati per problemi che coinvolgono lo spostamento nello spazio fisico, come nelle auto a guida autonoma o nella robotica; altri classificano le foto per te, identificando volti familiari o animali domestici o attività in vacanza. Alcune forme di intelligenza artificiale, come AlphaFold, un progetto della controllata di Alphabet (ex Google) DeepMind, stanno iniziando ad affrontare problemi scientifici complessi, come la previsione della struttura delle proteine, che è fondamentale per la progettazione e la scoperta di farmaci. Molti di questi esperimenti condividono un approccio di base noto come "apprendimento profondo", in cui una rete neurale modellata vagamente sulla struttura del cervello umano impara a identificare schemi o risolvere problemi attraverso cicli ripetuti all'infinito di tentativi ed errori, rafforzando le connessioni neurali e indebolire gli altri attraverso un processo noto come addestramento. La "profondità" del deep learning si riferisce a più strati di neuroni artificiali nella rete neurale, strati che corrispondono a livelli di astrazione sempre più elevati: in un modello basato sulla visione, ad esempio, uno strato di neuroni potrebbe rilevare linee verticali , che alimenterebbe quindi uno strato che rileva i bordi delle strutture fisiche, che quindi riporterebbe a uno strato che identifica le case rispetto ai condomini.

GPT-3 appartiene a una categoria di deep learning nota come un modello linguistico di grandi dimensioni, una complessa rete neurale che è stata addestrata su un titanico set di dati di testo: nel caso di GPT-3, circa 700 gigabyte di dati estratti dal web, inclusa Wikipedia, integrata con un'ampia raccolta di testi da libri digitalizzati. GPT-3 è il più celebre dei grandi modelli linguistici e il più pubblicamente disponibile, ma Google, Meta (precedentemente noto come Facebook) e DeepMind hanno tutti sviluppato i propri LLM negli ultimi anni. I progressi nella potenza di calcolo e le nuove tecniche matematiche hanno consentito agli LLM dell'annata di GPT-3 di ingerire set di dati molto più grandi rispetto ai loro predecessori e di impiegare strati molto più profondi di neuroni artificiali per il loro addestramento.

È probabile che tu abbia già interagito con un modello linguistico di grandi dimensioni se hai mai utilizzato un'applicazione, come Gmail, che include una funzione di completamento automatico, che ti chiede gentilmente la parola "partecipa" dopo aver digitato la frase "Purtroppo ho vinto 'non essere in grado di...'' Ma il completamento automatico è solo l'espressione più rudimentale di ciò di cui è capace un software come GPT-3. Si scopre che con dati di addestramento sufficienti e reti neurali sufficientemente profonde, i modelli linguistici di grandi dimensioni possono mostrare abilità notevoli se chiedi loro non solo di riempire la parola mancante, ma anche di continuare a scrivere interi paragrafi nello stile del prompt iniziale. Ad esempio, quando ho dato a GPT-3 il prompt:

Nel 1958, Frank Rosenblatt introdusse il Perceptron, una prima versione di una rete neurale che poteva rilevare solo la posizione di un quadrato su una carta stampata. Cinquant'anni dopo, le reti neurali sono in grado di . . .

Il software ha diligentemente completato il pensiero, per poi proseguire, riprendendo l'inquadratura storica del testo iniziale:

. . . rilevare e classificare i volti, trovare schemi nei dati ed emulare il cervello umano. Mentre la rete neurale è maturata nel mondo accademico, ha anche trovato la sua strada nel settore tecnologico. Alla fine degli anni '1980 e all'inizio degli anni '90, le reti neurali sono state utilizzate nelle applicazioni di riconoscimento vocale e riconoscimento dei caratteri. La crescita della potenza di calcolo e la capacità di raccogliere set di dati più grandi hanno consentito l'emergere di altre applicazioni di reti neurali.

Dal rilascio di GPT-3, Internet è stato inondato di esempi della misteriosa struttura del software con il linguaggio, insieme ai suoi punti ciechi, debolezze e altre tendenze più sinistre. GPT-3 è stato addestrato per scrivere sceneggiature hollywoodiane e comporre saggistica nello stile del classico del New Journalism di Gay Talese "Frank Sinatra Has a Cold". Puoi impiegare GPT-3 come un dungeon master simulato, conducendo elaborate avventure testuali attraverso mondi inventati al volo dalla rete neurale. Altri hanno alimentato le richieste del software che generano risposte palesemente offensive o deliranti, mostrando i limiti del modello e il suo potenziale danno se adottato ampiamente nel suo stato attuale.

Finora, gli esperimenti con modelli linguistici di grandi dimensioni sono stati principalmente questo: esperimenti per sondare il modello per segni di vera intelligenza, esplorare i suoi usi creativi, esporre i suoi pregiudizi. Ma il potenziale commerciale finale è enorme. Se la traiettoria esistente continua, software come GPT-3 potrebbero rivoluzionare il modo in cui cerchiamo le informazioni nei prossimi anni. Oggi, se hai una domanda complicata su qualcosa - come impostare il tuo sistema home theater, per esempio, o quali sono le opzioni per creare un fondo per l'istruzione 529 per i tuoi figli - molto probabilmente digiti alcune parole chiave su Google e quindi esegui la scansione un elenco di link o video suggeriti su YouTube, scorrendo tutto per arrivare alle informazioni esatte che cerchi. (Inutile dire che non penseresti nemmeno di chiedere a Siri o Alexa di guidarti attraverso qualcosa di così complesso.) Ma se i veri credenti GPT-3 hanno ragione, nel prossimo futuro farai semplicemente la domanda a un LLM e ottenere la risposta restituita a te, in modo convincente e accurato. Il servizio clienti potrebbe essere completamente trasformato: qualsiasi azienda con un prodotto che attualmente richiede un team di supporto tecnico umano potrebbe essere in grado di formare un LLM per sostituirlo.

Leggi la storia completa qui ...