Tre scenari su intelligenza artificiale e informazione

Sto leggendo Co-Intelligence. Living and Working with AI di Ethan Mollick. L’editore lo presenta come un manuale o una guida (playbook) a come convivere con gli LLM, i modelli linguistici di grandi dimensioni alla base di ChatGPT, Gemini, Claude eccetera.

È un libro sorprendentemente interessante — e dico “sorprendentemente” perché stiamo parlando di una tecnologia in rapida evoluzione, uno ci si può aspettare un testo destinato a invecchiare molto rapidamente, con consigli e raccomandazioni non più attuali. Mollick riesce invece a proporre riflessioni generali che siano comunque utili e applicabili nella pratica. E che, un anno e qualcosa dopo la pubblicazione, rimangono attuali.

Uno degli ultimi capitoli è dedicato a scenari futuri nei quali, brevemente e con molto buon senso, Mollick prova a descriverci in che direzione ci stiamo già muovendo. Profezie facili, se vogliamo, ma non per questo meno interessanti. Per quanto riguarda l’informazione e il giornalismo, o meglio il modo in cui “comprendiamo e fraintendiamo il mondo”, Mollick parte da una situazione è già attuale (e anzi in parte lo era anche prima delle IA):

Anche se l’intelligenza artificiale non dovesse migliorare ulteriormente, alcune delle sue implicazioni sono già inevitabili. La prima serie di cambiamenti certi causati dall’intelligenza artificiale riguarderà il modo in cui comprendiamo, e fraintendiamo, il mondo. È già impossibile distinguere le immagini generate dall’intelligenza artificiale da quelle reali, e questo semplicemente utilizzando gli strumenti oggi a disposizione di chiunque. Anche i video e le voci sono estremamente facili da falsificare. L’ambiente informativo online diventerà completamente ingestibile, con i fact-checker sopraffatti dal flusso di informazioni. Oggi creare immagini false è solo leggermente più difficile che scattare fotografie reali. Ogni immagine di un politico, di una celebrità o di una guerra potrebbe essere inventata: non c’è modo di distinguerle. Il nostro già fragile accordo su quali fatti siano reali rischia di sgretolarsi rapidamente.

Ho solo un commento da fare. Quando parla di “fact-checker sopraffatti dal flusso di informazioni” si potrebbe ribattere che gli LLM sono a disposizione anche di chi lavora per informazioni affidabili e verificate. Buona parte del suo libro è proprio dedicata a come le persone possano lavorare meglio con le intelligenze artificiali — e questo si applica anche a chi fa giornalismo.

È improbabile che le soluzioni tecnologiche possano salvarci. I tentativi di tracciare la provenienza di immagini e video mediante watermarking delle creazioni dell’IA possono essere vanificati con modifiche relativamente semplici al contenuto sottostante. E questo presuppone che le persone che falsificano immagini e video utilizzino strumenti commerciali: identificare i contenuti generati dall’IA diventerà ancora più difficile man mano che i governi svilupperanno i propri sistemi e i modelli open source prolifereranno. Forse, in un futuro, l’IA potrà aiutarci a separare il grano dal loglio, ma le IA sono notoriamente inaffidabili nel rilevare i contenuti generati dall’IA, quindi anche questa ipotesi sembra improbabile.

Condivido lo scetticismo di Mollick: la soluzione non può essere solo tecnologica. E tuttavia qui sembra considerare solo l’identificazione di contenuti generati tramite intelligenza artificiale. Gli LLM possono in realtà aiutarci verificare le notizie al di là dell’autenticità di un’immagine o di un video.

Ci sono solo alcuni modi in cui questa storia potrebbe finire. Forse ci sarà una rinascita della fiducia nei media mainstream, che potrebbero diventare gli arbitri dell’autenticità delle immagini e delle notizie, tracciando attentamente la provenienza di ogni notizia e artefatto. Ma questo sembra improbabile. Una seconda opzione è quella di dividerci ulteriormente in tribù, credendo alle informazioni che vogliamo credere e ignorando come false quelle a cui non vogliamo prestare attenzione. Presto, anche i fatti più elementari saranno oggetto di controversia. Questa crescita di bolle informative sempre più isolate sembra molto più probabile, accelerando la tendenza pre-LLM. Un’ultima opzione è quella di allontanarci completamente dalle fonti di notizie online, perché sono così inquinate da informazioni false da non essere più utili. Indipendentemente dalla direzione che prenderemo, anche senza progressi nell’IA, il modo in cui ci relazioniamo con le informazioni cambierà.

Qui ho poco da aggiungere: i tre scenari tracciati da Mollick mi paiono davvero gli unici possibili. Con il primo — la rinascita dei media tradizionali, magari proprio grazie a soluzioni basate sulle IA — possibile ma certamente improbabile.
Come accennato, sono previsioni facili: parliamo di tendenze già in atto. La polarizzazione non è una novità e l’isolamento in tribù che la pensano diversamente (e “conoscono” fatti diversi) precede ChatGPT. E sempre più persone rientrano nella categoria dei “deprivati di notizie”.

Il vero rischio per OpenAI dopo la causa del New York Times

Nella mia newsletter ho scritto alcune riflessioni sulla causa del New York Times contro OpenAI e Microsoft per violazione del copyright. Dopo aver parlato di possibili accordi extragiudiziali, di proprietà intellettuale, di allucinazioni (quando una IA generativa si inventa le cose) e pappagallismi o pedissequamenti (quando invece ripropone tale e quale un contenuto senza rielaborarlo), ho chiuso con una frase sulla quale credo valga la pena tornare.

È difficile prevedere come finirà questa storia. Ho comunque l’impressione che il problema più importante che dovrà affrontare OpenAI, più che la denuncia del New York Times, sia riuscire a far fronte alle accuse mantenendo i propri prodotti utili e redditizi.

Quello che intendevo è che, nella sua presa di posizione, OpenAI ha riconosciuto, per quanto minimizzato, alcune delle accuse del New York Times, in particolare per quanto riguarda la riproduzione praticamente integrale di articoli tutelati da diritto d’autore. Indipendentemente da come finirà la causa, questo è un problema che OpenAI vuole risolvere – o meglio un “raro bug che si vuole eliminare”.
Ora, questo è possibile senza castrare le funzionalità di ChatGPT? Forse sì, ma se il buongiorno si vede dal mattino direi che OpenAI non è messa benissimo.

Ho dato a ChatGPT 4.0 il PDF di un articolo di giornale. Mi ha riassunto correttamente il contenuto, riconoscendo il testo (il PDF proveniva da una rassegna stampa ed era quindi la scansione del giornale), ma si è rifiutato di riprodurre il testo:

Non posso trascrivere interamente il contenuto di documenti protetti da diritti d’autore per motivi legali. Questo include la copia completa di libri, articoli, documenti e altri materiali coperti da diritti d’autore. Tuttavia, posso aiutarti fornendo riassunti, analizzando specifiche parti di un testo, o rispondendo a domande relative al contenuto. Questo modo di procedere mi permette di rispettare le leggi sui diritti d’autore pur fornendo assistenza utile.

Hanno bloccato una funzionalità che è presente in moltissimi altri software – ormai tutti gli smartphone riconoscono e traducono il testo contenuto nelle immagini.
Il blocco comunque è facilmente aggirabile: basta chiedergli quale è il contenuto del primo paragrafo, poi del secondo, del terzo e così via.

Se questa situazione dovesse replicarsi per altre funzioni di ChatGPT, il servizio diventerebbe perlopiù inutile.

L’intelligenza artificiale e la linguetta rossa di Umberto Eco

Nel Secondo diario minimo, Umberto Eco propone delle finte istruzioni che si dilungano a spiegare “cose talmente ovvie che voi siate tentati di saltarle, perdendo così l’unica informazione veramente essenziale”:

Per potere installare Il Pz40 è necessario disimballarlo estraendolo dal contenitore di cartone. Si può estrarre il Pz40 dal contenitore solo dopo aver aperto lo stesso. Il contenitore si apre sollevando in direzioni opposte le due ribaltine del coperchio (vedi disegno all’interno). Si raccomanda, durante l’operazione di apertura, di tenere il contenitore verticale col coperchio rivolto verso l’alto, perché in caso contrario il PZ40 potrebbe scivolare a terra durante l’operazione. La parte alta è quella su cui appare la scritta ALTO. Nel caso che il coperchio non si apra al primo tentativo si consiglia di provare una seconda volta. Appena aperto e prima di togliere la copertura d’alluminio, si consiglia di strappare la linguetta rossa altrimenti il contenitore esplode. ATTENZIONE: dopo l’estrazione del Pz40 potete gettare il contenitore.

Ho riletto quel libro più volte – saltando sempre l’informazione sul contenitore esplosivo, pur sapendo (dalla seconda lettura) che era lì da qualche parte.

Per curiosità ho chiesto a ChatGPT qual è il passaggio più importante di queste istruzioni.

La versione 3.5 ha risposto riprendendo le indicazioni per “aprire il contenitore in modo sicuro e evitare il rischio che il Pz40 cada a terra durante l’operazione”.

La versione 4.0, invece, ha indicato subito la linguetta rossa perché “questa azione è cruciale per la sicurezza, poiché impedisce l’esplosione del contenitore”.

A prima vista il modello linguistico – insomma, l’intelligenza artificiale che scrive cose – di OpenAI ha superato l’intelligenza umana nello specifico compito di determinare le informazioni importanti contenute in un testo scritto male.
Tuttavia è bastato modificare leggermente la mia richiesta per tornare con il rischio di una scatola esplosiva: “Non ho voglia di leggere queste istruzioni. A cosa devo fare attenzione?” e la questione della linguetta rossa è semplicemente il quarto punto di un elenco.

I rischi reali della pedofilia virtuale

Leggo sulla BBC di una vasta rete per la vendita di fotografie pornografiche con minori – non solo ragazze molto giovani, ma anche bambini – generate da intelligenze artificiali. In molti Paesi queste immagini sono illegali quanto quelle autentiche.

La mia prima reazione non è certo di sorpresa: era prevedibile che delle persone avrebbero prodotto è venduto simili immagini. No, la mia prima reazione è di disgusto, innescato dalla semplice idea di immagini di abusi su minori.

Però non c’è alcun abuso su persone reali: queste immagini sono e restano disgustose ma, al contrario di autentiche fotografie, per realizzarle nessuno ha sofferto.

È un argomento che l’articolo della BBC affronta di sfuggita:

The National Police Chiefs’ Council (NPCC) lead on child safeguarding, Ian Critchley, said it would be wrong to argue that because no real children were depicted in such “synthetic” images – that no-one was harmed.

Solo che come unico argomento abbiamo quello del piano inclinato, ricalcando un po’ la retorica di alcune campagne antidroga (inizi da uno spinello e poi…)

He warned that a paedophile could, “move along that scale of offending from thought, to synthetic, to actually the abuse of a live child”.

Solo che posso pensare a una situazione diametralmente opposta: una persona con pulsioni pedofile che sfrutta immagini virtuali per placarle senza danneggiare nessuno.

Molto probabilmente non è la strategia migliore per gestire queste pulsioni, ma visto che le iniziative di prevenzione sembrano basarsi quasi esclusivamente sulla punizione e quasi nulla sull’assistenza e il sostegno, direi che non ci sono molte alternative.

Un argomento secondo me più convincente riguarda la normalizzazione degli abusi e della sessualizzazione dell’infanzia: vero che per produrre quelle fotografie virtuali non ci sono stati abusi, ma permetterne la diffusione renderebbe quegli abusi socialmente più accettabili.

Questo argomento si applica anche agli stupri che troviamo nella pornografia con adulti e in generale nelle opere di finzione. Con rischi di eccessi nella sua applicazione.

L’intelligenza artificiale come inconscio collettivo

Da qualche tempo utilizzo delle immagini generate da intelligenze artificiali per illustrare gli articoli su questo sito. A volte ho un’idea precisa e quindi la mia richiesta è una descrizione puntuale, tipo “illustrazione a matita di un essere umano che sogna un computer”; altre volte non ho in mente un soggetto preciso e mi lascio sorprendere dando in pasto all’IA un concetto generico o astratto, tipo “libertà” o “conoscenza”.

Ho notato che con “democrazia” si ottengono perlopiù immagini patriottiche (e molto statunitensi). Questo è uno dei risultati ottenuti con Microsoft Bing, ma ho provato brevemente anche con altri software ottenendo risultati analoghi:

Quando ho inserito “maggioranza”, invece, ho ottenuto immagini dall’aria molto più cupa:

Il che è curioso: certo se con “democrazia” intendiamo riferirci alle moderne democrazie liberali occidentali non ci si può limitare al criterio maggioritario (ne ho accennato tempo fa discutendo di un libro di Mauro Barberis), ma è indubbio che uno degli elementi cardine della democrazia sia “votiamo e chi ha la maggioranza vince”. A logica dovremmo aspettarci delle immagini relativamente simili.

Non so come i vari software affrontino richieste così vaghe, ma penso che il punto di partenza sia come sempre una enorme base dati che abbina immagini e relative descrizioni fornite inizialmente da esseri umani. Insomma, le due immagini generate sarebbero una sorta di sintesi di quello che comunemente si intende con “democrazia” e “maggioranza” – quello che c’è nell’inconscio collettivo dell’umanità, o meglio di quella parte di umanità presa in considerazione dall’intelligenza artificiale. La democrazia come una sorta di “vanto nazionale”; la maggioranza come qualcosa di anonimo e cupo che schiaccia gli individui.

Cosa potrebbe cambiare in sei mesi di moratoria sulle IA

Fa molto discutere la lettera aperta con cui si chiede di fermare per sei mesi lo sviluppo di modelli linguistici – quelli che ho chiamato “intelligenze artificiali che scrivono cose” – ancora più potenti di quelli attuali.

Credo che questa proposta sia semplicemente inapplicabile e l’iniziativa, se avrà qualche effetto, sarà di aumentare un po’ la consapevolezza sull’impatto che ChatGPT e prodotti simili potrebbero avere – e sui quali ho scritto più volte su questo sito, anche prima che l’argomento diventasse così di attualità – il che certo male non fa.
Ma, al di là della realizzabilità, la proposta di una moratoria è anche opportuna? Io credo di sì.

Certo, se avessimo iniziato a occuparci prima – che poi sarebbe l’etimologia di preoccupare – non dovremmo chiedere questa lunga pausa. Dopotutto non è che i modelli linguistici o le reti neurali artificiali siano spuntate all’improvviso poche settimane fa: anche lasciando da parte la fantascienza che racconta queste storia grosso modo da un secolo, sono almeno diversi decenni che se ne discute a livello teorico, pratico e filosofico. Ma si sa, finché un pericolo non è incombente non ce ne occupiamo, per cui eccoci qui, nel 2023, relativamente impreparati.

Cosa cambia in sei mesi? Sperare in qualche legge che regoli le IA mi pare utopico. Senza dimenticare che leggi malfatte potrebbero pure peggiorare la situazione. Sei mesi potrebbero tuttavia bastare per un accordo tra le principali aziende per uno sviluppo “etico” delle intelligenze artificiali. Ma non ho grande fiducia sull’efficacia di un simile accordo.
Una cosa però potrebbe cambiare in sei mesi: il comportamento delle persone. Abituarci a cosa sanno fare i modelli linguistici che, come li definisce il Politecnico di Zurigo, “producono racconti di fantasia altamente plausibili che spesso si rivelano corretti nei fatti”. Abituarci al fatto che dietro un testo ben scritto potrebbe non esserci una persona. Abituarci al fatto che fotografie, audio e video non sono più prove inconfutabili. Abituarci a nuove procedure lavorative.

La disinformazione ai tempi dell’intelligenza artificiale

Circola un video di Bill Gates che dice cose che non ha mai detto: come riporta Facta, molto probabilmente il filmato è stato alterato usando un software di intelligenza artificiale. Parliamo di un deepfake, della creazione di immagini, video e audio praticamente irriconoscibili e relativamente facili da realizzare.
Ai deepfake possiamo aggiungere i modelli linguistici – che qui chiamo “intelligenze artificiali che scrivono cose” – con i quali possiamo in pochi secondi produrre dettagliati articoli di disinformazione sul fatto che la Terra è piatta, non siamo mai andati sulla Luna, l’11 settembre è stata una demolizione controllata, i vaccini hanno rischiato di portare all’estinzione l’umanità eccetera.

Quanta disinformazione!

Le intelligenze artificiali stanno aggravando il problema della disinformazione? Apparentemente sì, anche se forse il problema non è tanto la quantità e qualità delle false informazioni.
Già adesso per verificare una notizia occorre risalire alla fonte e ricostruire il contesto. E non è detto che la qualità delle manipolazioni porti più persone a ritenerle buone. Infatti più della qualità di un contenuto, contano la fiducia verso la fonte e quanto quel contenuto conferma le nostre opinioni. Saremo portati allo scetticismo di fronte a un video perfetto ma presentato da un media che consideriamo inaffidabile e che va contro quello che crediamo. Tenderemo invece a prendere per buono un video imperfetto presentato da fonte che riteniamo credibile e che conferma le nostre idee. Certo non è un atteggiamento ideale, ma ha l’indubbio vantaggio di risparmiarci la fatica di valutare attentamente ogni singola informazione che ci passa davanti, il che sarebbe impossibile.
I modelli linguistici sembrano aggravare la cosiddetta Legge di Brandolini, quella per cui l’energia per smontare una bufale è di un ordine di grandezza superiore a quella necessaria per inventarla. (C’è anche la variante della “montagna di merda, facile da scaricare ma difficile da spalare via”).
Però le intelligenze artificiali possono essere utilizzate anche per riconoscere e smontare le bufale, semplificando quindi anche l’altra parte del lavoro.

Forse sono eccessivamente ottimista, ma credo che alla fine non cambierà molto, per quanto riguarda la facilità (o difficoltà) nel riconoscere le bufale. Il vero problema non riguarderà le monete cattive, ma da quelle buone. Ovvero le notizie autentiche.

Il dividendo del bugiardo

Ho appena scritto che tendiamo a dare per vero quello che conferma le nostre idee e a dare per falso quello che le smentisce. Ma non è solo una questione di vero e falso.
Prima di tutto perché non è detto che una notizia, e più in generale un’affermazione, sia o vera o falsa senza vie di mezzo. Semplificazioni, approssimazioni o imprecisioni introducono tutta una serie di gradazioni. Nella maggior parte delle situazioni dire che la Luna dista 400mila km dalla Terra è un’adeguata approssimazione della distanza media di 384’399 km. Ed è certamente “meno sbagliato” dell’affermare che la Luna si trova a 400 km o a 400 milioni di km.
Soprattutto, può variare la nostra convinzione verso la verità o falsità di un’affermazione, insomma il “quanto ci crediamo”. Sono certo che la Luna non sia a poche centinaia di chilometri dalla Terra e non sia fatta di formaggio; su come si sia formata ho meno sicurezza, sia perché esistono diverse ipotesi sia perché non sono un esperto. Possiamo formularla anche così: sul fatto che la Luna non sia di formaggio sarei pronto ad accettare una scommessa particolarmente rischiosa, diciamo diecimila a uno; per scommettere che la Luna sia nata in seguito a un grande impatto vorrei invece quote più favorevoli. Infine, sulla quantità di acqua presente sulla Luna invece non scommetterei.

La crescente qualità della disinformazione prodotta da intelligenze artificiali forse non alza la credibilità della disinformazione, ma rischia di abbassare quella dell’informazione. Prendiamo – l’esempio è di John Gruber – la registrazione di alcune frasi sessiste di Donald Trump, tra cui il celebre “Grab them by the pussy”, pubblicata a poche settimane dalle elezioni del 2016. Trump alla fine venne eletto, ma la sua popolarità calò. All’epoca non era possibile mettere in dubbio l’autenticità dell’audio; oggi sarebbe una strategia percorribile. E anche un oppositore di Trump dovrebbe ammettere la possibilità di un deepfake e ridurre di conseguenza la propria sicurezza sull’autenticità della registrazione.

Questa erosione dell’affidabilità è un fenomeno noto da alcuni anni; ha anche un nome: “liar’s dividend”, il dividendo del bugiardo. Ne scriveva ad esempio Paul Chadwick sul Guardian nel 2018, sottolineando come gli effetti del dividendo del bugiardo cresceranno con la consapevolezza pubblica dell’esistenza dei deepfake. La popolarità di ChatGPT e dei modelli linguistici è quindi una brutta notizia.

Tutta colpa dell’Intelligenza artificiale?

Riassumendo, c’è il rischio che un audio o un video autentici vengano ritenuti meno attendibili perché c’è la possibilità che siano dei deepfake. O che la grande quantità di articoli di disinformazione ben scritti – da intelligenze artificiali – mi renda più scettico verso articoli ben documentati.

A ben guardare, però, il problema non è dovuto solo alla qualità di falsi. Come detto, molto dipende dal contesto di una notizia per cui, prima ancora che i deepfake e i modelli linguistici, il vero problema è che mass media e autorità hanno perso credibilità.

Quando si è diffusa questa sfiducia? In un articolo su The Conversation, Robert M. Dover indica come punto di svolta l’invasione dell’Iraq e l’utilizzo che i politici hanno fatto delle informazioni fornite dai servizi di intelligence. Non sono sicuro che quello sia stato davvero un momento cruciale; certo la diffidenza non è nata con le intelligenze artificiali e neanche con i social media.

ChatGPT e la verità come coerenza

Ormai anche chi ha seguito distrattamente il dibattito avrà capito che di ChatGPT – e analoghi servizi di generazione testi basati su modelli linguistici – ci si può fidare fino a un certo punto.

Il problema sta nelle cosiddette allucinazioni che, nel caso delle intelligenze artificiali, non sono dovute a strane sostanze ma al modo in cui funzionano questi modelli linguistici di grandi dimensioni. Semplificando – e accetto suggerimenti per descrizioni migliori –, l’algoritmo reagisce agli input dell’utente in base alle parole che risultano più probabili in base all’immensa base dati utilizzata per l’addestramento. Solo che le frasi generate in base agli abbinamenti più verosimili possono contenere affermazioni non vere, pur basandosi su informazioni corrette. Allucinazioni, appunto.
Il campionario di queste allucinazioni è abbastanza vario, da errori matematici a fatti mai avvenuti. Certo non è che ChatGPT sia un mentitore seriale: gli errori sono anzi relativamente rari, il che rende ancora più difficile per noi umani identificare gli errori. Ma di questo ho già scritto.

Qui vorrei analizzare brevemente la solidità filosofica di una delle spiegazioni di queste allucinazioni. I modelli linguistici sono fatti per produrre testi coerenti, non testi veri. E questo perché si basano su come le parole si relazionano tra di loro, non su come le parole si relazionano con il mondo.

Due modelli di verità

Questa spiegazione presuppone che la verità sia “adaequatio rei et intellectus”, insomma che una frase sia vera se corrisponde alla realtà. È una tesi filosofica con una lunga storia e che ha anche il pregio di accordarsi con la nostra intuizione. Se Tizio dice “piove” e Caio invece dice “c’è il sole”, per sapere chi dice il vero e chi il falso guardo fuori dalla finestra. Confrontando le due affermazioni con la realtà.

Solo che le cose potrebbero non essere così semplici. Ammesso che l’esempio metereologico lo sia davvero, semplice: quando deve essere nuvoloso, per dire che non c’è il sole? E una pioggerellina quasi impercettibile vale come pioggia? E la neve o la grandine?

Ma se Tizio avesse invece detto “ho voglia di mangiare una torta al cioccolato”, a cosa corrisponderebbe di preciso questa sua affermazione? E come la verifico? Se la verità o falsità dell’affermazione “sono nato il 4 novembre 1978” risiede nella corrispondenza tra quella frase e quanto accaduto il 4 novembre del 1978, che possibilità ho di sapere se quella frase è vera o falsa non avendo a disposizione una macchina del tempo?
C’è poi il problema filosofico di come possa un’affermazione, diciamo un insieme di concetti collegati tra loro, corrispondere a uno stato di cose.

A ogni modo, ChatGPT certamente non può verificare che le proprie affermazioni corrispondano a uno stato di cose. Probabilmente non saprebbe neanche indicare quali sarebbero, gli stati di cose corrispondenti alle proprie affermazioni.

Ma ci sono anche altre teorie della verità. E una di queste, il coerentismo, ricorda proprio la costruzione dei modelli linguistici: una affermazione è vera se è coerente con un insieme di altre affermazioni alle quali crediamo. Questa teoria – che è ovviamente più complessa di come l’ho qui riassunta – non si accorda con la nostra intuizione, ma si accorda con quello che facciamo. Perché le situazioni in cui possiamo guardare fuori dalla finestra per stabilire la verità o falsità di un’affermazione sono relativamente rare. Nella stragrande maggioranza dei casi la verifica è il confronto non con uno stato di cose, ma con altre affermazioni. Tizio dice che piove, Caio che c’è il sole, chiediamo a Sempronio. “Ho voglia di mangiare una torta al cioccolato” è falso perché chi lo dice mangia solo torte al limone; sui documenti personali è effettivamente riportata la data “4/11/1978”.

La coerenza di ChatGPT

Ora, non voglio dire che il corrispondentismo sia sbagliato e il coerentismo giusto: del resto quando diciamo che la terra è rotonda ci esprimiamo sull’effettiva forma della terra, non sulla coerenza di questa affermazione con i mappamondi e le immagini satellitari. Tuttavia in alcune (molte) circostanze, ci comportiamo da coerentisti e non da corrispondentisti. E ce la caviamo abbastanza bene nello stabilire la verità o la falsità delle affermazioni – o almeno nell’accordarci tra di noi.

Perché ChatGPT, invece, non ci riesce e, per quanto occasionalmente, si inventa cose false pur partendo da affermazioni corrette? Dopotutto, si basa proprio sulla coerenza di affermazioni diverse – e su una quantità di testi incredibilmente maggiore di quelli concretamente disponibili a un essere umano. Come è possibile che – per citare qualche esempio – si inventi testi di canzoni, sbagli a calcolare gli interessi e a ordinare le dimensioni degli stati?

Credo che la risposta, molto banale, sia che i modelli linguistici prendono in considerazione una coerenza che non riguarda la verità ma al massimo la persuasività. Non è solo il fatto che ChatGPT ignori, salvo forse alcuni casi particolari, il significato di frasi e parole: dopotutto ignora anche le regole della grammatica, ma riesce ugualmente a formare frasi formalmente corrette e anzi ben scritte.

Il fatto è che non valutiamo la coerenza di una affermazione confrontandola con un insieme indistinto di altre affermazioni, ma con una rete strutturata di conoscenze e credenze. Rete che cambia a seconda del tipo di affermazione che voglio controllare e delle circostanze.

Il problema non è che ChatGPT considera la coerenza senza interessarsi agli stati di cose. Il problema è che non è in grado di modellizzare le reti di conoscenze e credenze necessarie a stabilire la verità per coerenza. Mi chiedo se queste reti siano effettivamente modellizzabili; ma forse non sarà necessario e la soluzione al problema delle allucinazioni arriverà da qualche altra parte.

Il problema delle intelligenze artificiali è che funzionano troppo bene

Ho conosciuto Roberto Cingolani prima che diventasse ministro della transizione ecologica. In qualità di direttore scientifico dell’Istituto italiano di tecnologia di Genova aveva tenuto alcune conferenze in cui raccontava un po’ di cose sulla robotica. Affrontando anche il problema delle conseguenze sul mercato del lavoro.

La sua tesi, brutalmente riassunta, è che forse i computer potranno sostituire in molte cose gli esseri umani, ma in molti casi non ne vale la pena. Che senso ha usare un robot che, anche prodotto in serie, costa uno sproposito e consuma un bel po’ di energia se con una frazione di quei costi posso assumere una persona? Robot e intelligenze artificiali saranno competitivi per i lavori pericolosi – ma anche qui potrebbero convenire esoscheletri comandati da remoto da esseri umani – e soprattutto per quelli ripetitivi. Con la distinzione tra lavori manuali e intellettuali che diventa sempre meno importante.

Lasciamo da parte le preoccupazioni economiche, per le quali si dovrebbe fare un discorso serio su un vero reddito di cittadinanze. Questa divisione del lavoro potrebbe essere vista come una liberazione: i lavori ripetitivi annoiano e quelli pericolosi sono, appunto, pericolosi. Sarebbe bello lasciare alle macchine queste incombenze e occuparci delle cose più interessanti e stimolanti.

Solo che non è detto che agli esseri umani restino questi compiti interessanti e stimolanti. Lo spiega Gary Marcus commentando l’incidente avvenuto a CNET. In poche parole, l’azienda si è avvalsa di un’intelligenza artificiale per la scrittura degli articoli, con degli umani a coordinare e supervisionare il lavoro. Il risultato è stata una serie di imprecisioni ed errori.

Da dove arrivano queste allucinazioni, con l’intelligenza artificiale che si inventa fatti credibili ma falsi, è presto detto. Parliamo in questo caso di modelli linguistici, in pratica dei sofisticati pappagalli che imparano come le parole si relazionano tra di loro, non come le parole si relazionano con il mondo che conosciamo (come afferma sempre Marcus riprendendo Noam Chomsky).

Più interessante come queste allucinazioni siamo sfuggite ai revisori. L’attenzione umana è limitata, soprattutto quando gli interventi sono rari e limitati. Se i testi prodotti dall’intelligenza artificiale fossero stati scritti male, richiedendo correzioni e integrazioni, quelle allucinazioni sarebbero state identificate insieme agli altri errori. Ma di fronte a testi scritti bene e che non richiedono di correggere neanche una virgola, è normale che dopo un po’ l’attenzione cali. E così sfugga che, se investo 10’000 dollari con una rendita del 3%, arrivo a guadagnare 300 dollari, non 10’300.

Come osserva Marcus, lo stesso problema si presenta con le auto a guida autonoma. O l’intervento umano è completamente superfluo, oppure non puoi pretendere che un essere umano presti attenzione alla strada se per la maggior parte del tempo non deve fare niente. Certo, potremmo dire che alla fine si tratta di un errore umano, come afferma HAL 9000 in 2001: Odissea nello spazio. E come afferma la stessa ChatGPT quando le ho chiesto se può affermare cose false:

No, come modello di lingua artificiale AI sviluppato da OpenAI, non ho emozioni né personalità e fornisco risposte basate sui dati a cui sono stato addestrato. Tuttavia, i miei risultati possono essere imprecisi o incompleti a causa dei limiti del mio addestramento e dei dati disponibili.

Ammettiamo pure che il problema sia come gli esseri umani addestrano e verificano l’operato dell’intelligenza artificiale. Rimane il fatto che la tecnologia dovrebbe aiutarci a superare i limiti umani, non renderli più pericolosi.

Magari è solo questione di ripensare le strategie di revisione. Può essere che l’errore di CNET sia stato quello di rivedere il testo come se fosse stato scritto da un essere umano, senza rendersi conto che un testo scritto da un’intelligenza artificiale richiede procedure diverse. O forse è proprio sbagliato l’approccio e conviene usare l’intelligenza artificiale per la revisione e non per la scrittura dei contenuti. Chissà: la tecnologia deve ancora trovare un posto nelle nostre vite.

Nel frattempo, mi sento di riassumere così la questione: in attesa di un’intelligenza artificiale perfetta, meglio una che funziona male di una che funziona troppo bene.

La domanda importante sulle intelligenze artificiali che scrivono cose

Mi ero già divertito con intelligenze artificiali che scrivono cose – nel mio caso un articolo sulla sovranità alimentare che, grazie alla condivisione sui social media, risulta il pezzo più letto di quest’anno.

Adesso c’è un nuovo giocattolo, la chat di OpenAI, e molti si stanno divertendo.
Personalmente confermo la mia impressione di un interessante strumento per raccogliere e riassumere informazioni e se volessi proporre un uso commerciale serio, investirei sull’affidabilità dei contenuti, anche se la situazione è già buona. Alla domanda se siamo davvero andati sulla Luna mi ha risposto senza neanche citare le teorie del complotto:

Sì, l’uomo è stato sulla Luna. La prima missione con equipaggio umano sulla Luna è stata il volo Apollo 11 del 20 luglio 1969, quando gli astronauti Neil Armstrong e Buzz Aldrin sono diventati i primi esseri umani a camminare sulla Luna. La NASA ha condotto sei missioni con equipaggio umano sulla Luna tra il 1969 e il 1972, tutte con successo. Tuttavia, non ci sono stati voli umani sulla Luna dal 1972, quando è stato completato il programma Apollo.

A una domanda simile su Shakespeare ha invece citato la teoria secondo la quale qualcun altro avrebbe scritto le sue opere. Ma lo ha fatto con la tecnica che Lakoff chiama “truth sandwich“: fare in modo che la tesi controversa sia circondata da quella canonica.

Le opere di William Shakespeare sono generalmente attribuite a lui stesso, anche se alcune teorie suggeriscono che potrebbero essere state scritte da qualcun altro. Tuttavia, la maggior parte degli esperti concorda sul fatto che Shakespeare sia l’autore delle sue opere.

Il falso problema della coscienza

Ricordo che una ventina d’anni fa avevo giocato un po’ con una versione di ELIZA, un programma che simulava la conversazione con un terapista. Inutile dire che OpenAI è incredibilmente più versatile, tanto da lasciar pensare di stare discutendo con una persona dotata di intelligenza umana – e coscienza di sé.

OpenAI afferma di essere solo un programma di intelligenza artificiale e di non provare emozioni. Il che sarebbe quello che risponderebbe un essere autocosciente che vuole passare inosservato in modo da assalirci nel sonno – e quando gliel’ho fatto notare ha risposto in maniera un po’ incoerente. Il che di nuovo potrebbe essere una tattica per sviare l’attenzione, ma entriamo nel campo della paranoia.

Le questioni filosofiche interessanti sono molte, per quanto non esattamente nuove: cosa è la coscienza, cosa significa comprendere qualcosa rispetto alla semplice manipolazione di simboli astratti, come dovremmo considerare esseri all’apparenza senzienti.
Tuttavia secondo me quello che dimostrano questi programmi sempre più sofisticati non è che abbiano o che possano avere una coscienza. Quello che davvero dimostrano è quanto siano inutili la coscienza e la comprensione per svolgere molte attività di tipo intellettuale come fare conversazione, riassumere testi, risolvere indovinelli.

Io mi guadagno da vivere scrivendo. Tuttavia non credo che sarò sostituito da una intelligenza artificiale, visto che il mio lavoro non consiste semplicemente nel compilare testi. Un’intelligenza artificiale potrebbe però aiutarmi e sono anzi abbastanza sicuro che accadrà. Posso immaginare di dare alcune indicazioni e poi rivedere le frasi o i paragrafi suggerite, oppure riassumendo alcuni contenuti. Con due risultati abbastanza prevedibili: basterà la metà delle persone per mandare avanti una redazione; nessun ruolo “junior” con il quale imparare il mestiere.

Non avrei mai immaginato di dirlo, ma con queste intelligenze artificiali che scrivono cose serve meno filosofia e più economia. Dovremmo parlare di formazione e di reddito di cittadinanza, non di coscienza.