L’estinto

Disinneschiamo le bombe culturali

Tag: evidenza

Ricerche filosofiche

ChatGPT e la verità come coerenza

Ormai anche chi ha seguito distrattamente il dibattito avrà capito che di ChatGPT – e analoghi servizi di generazione testi basati su modelli linguistici – ci si può fidare fino a un certo punto.

Il problema sta nelle cosiddette allucinazioni che, nel caso delle intelligenze artificiali, non sono dovute a strane sostanze ma al modo in cui funzionano questi modelli linguistici di grandi dimensioni. Semplificando – e accetto suggerimenti per descrizioni migliori –, l’algoritmo reagisce agli input dell’utente in base alle parole che risultano più probabili in base all’immensa base dati utilizzata per l’addestramento. Solo che le frasi generate in base agli abbinamenti più verosimili possono contenere affermazioni non vere, pur basandosi su informazioni corrette. Allucinazioni, appunto.
Il campionario di queste allucinazioni è abbastanza vario, da errori matematici a fatti mai avvenuti. Certo non è che ChatGPT sia un mentitore seriale: gli errori sono anzi relativamente rari, il che rende ancora più difficile per noi umani identificare gli errori. Ma di questo ho già scritto.

Qui vorrei analizzare brevemente la solidità filosofica di una delle spiegazioni di queste allucinazioni. I modelli linguistici sono fatti per produrre testi coerenti, non testi veri. E questo perché si basano su come le parole si relazionano tra di loro, non su come le parole si relazionano con il mondo.

Due modelli di verità

Questa spiegazione presuppone che la verità sia “adaequatio rei et intellectus”, insomma che una frase sia vera se corrisponde alla realtà. È una tesi filosofica con una lunga storia e che ha anche il pregio di accordarsi con la nostra intuizione. Se Tizio dice “piove” e Caio invece dice “c’è il sole”, per sapere chi dice il vero e chi il falso guardo fuori dalla finestra. Confrontando le due affermazioni con la realtà.

Solo che le cose potrebbero non essere così semplici. Ammesso che l’esempio metereologico lo sia davvero, semplice: quando deve essere nuvoloso, per dire che non c’è il sole? E una pioggerellina quasi impercettibile vale come pioggia? E la neve o la grandine?

Ma se Tizio avesse invece detto “ho voglia di mangiare una torta al cioccolato”, a cosa corrisponderebbe di preciso questa sua affermazione? E come la verifico? Se la verità o falsità dell’affermazione “sono nato il 4 novembre 1978” risiede nella corrispondenza tra quella frase e quanto accaduto il 4 novembre del 1978, che possibilità ho di sapere se quella frase è vera o falsa non avendo a disposizione una macchina del tempo?
C’è poi il problema filosofico di come possa un’affermazione, diciamo un insieme di concetti collegati tra loro, corrispondere a uno stato di cose.

A ogni modo, ChatGPT certamente non può verificare che le proprie affermazioni corrispondano a uno stato di cose. Probabilmente non saprebbe neanche indicare quali sarebbero, gli stati di cose corrispondenti alle proprie affermazioni.

Ma ci sono anche altre teorie della verità. E una di queste, il coerentismo, ricorda proprio la costruzione dei modelli linguistici: una affermazione è vera se è coerente con un insieme di altre affermazioni alle quali crediamo. Questa teoria – che è ovviamente più complessa di come l’ho qui riassunta – non si accorda con la nostra intuizione, ma si accorda con quello che facciamo. Perché le situazioni in cui possiamo guardare fuori dalla finestra per stabilire la verità o falsità di un’affermazione sono relativamente rare. Nella stragrande maggioranza dei casi la verifica è il confronto non con uno stato di cose, ma con altre affermazioni. Tizio dice che piove, Caio che c’è il sole, chiediamo a Sempronio. “Ho voglia di mangiare una torta al cioccolato” è falso perché chi lo dice mangia solo torte al limone; sui documenti personali è effettivamente riportata la data “4/11/1978”.

La coerenza di ChatGPT

Ora, non voglio dire che il corrispondentismo sia sbagliato e il coerentismo giusto: del resto quando diciamo che la terra è rotonda ci esprimiamo sull’effettiva forma della terra, non sulla coerenza di questa affermazione con i mappamondi e le immagini satellitari. Tuttavia in alcune (molte) circostanze, ci comportiamo da coerentisti e non da corrispondentisti. E ce la caviamo abbastanza bene nello stabilire la verità o la falsità delle affermazioni – o almeno nell’accordarci tra di noi.

Perché ChatGPT, invece, non ci riesce e, per quanto occasionalmente, si inventa cose false pur partendo da affermazioni corrette? Dopotutto, si basa proprio sulla coerenza di affermazioni diverse – e su una quantità di testi incredibilmente maggiore di quelli concretamente disponibili a un essere umano. Come è possibile che – per citare qualche esempio – si inventi testi di canzoni, sbagli a calcolare gli interessi e a ordinare le dimensioni degli stati?

Credo che la risposta, molto banale, sia che i modelli linguistici prendono in considerazione una coerenza che non riguarda la verità ma al massimo la persuasività. Non è solo il fatto che ChatGPT ignori, salvo forse alcuni casi particolari, il significato di frasi e parole: dopotutto ignora anche le regole della grammatica, ma riesce ugualmente a formare frasi formalmente corrette e anzi ben scritte.

Il fatto è che non valutiamo la coerenza di una affermazione confrontandola con un insieme indistinto di altre affermazioni, ma con una rete strutturata di conoscenze e credenze. Rete che cambia a seconda del tipo di affermazione che voglio controllare e delle circostanze.

Il problema non è che ChatGPT considera la coerenza senza interessarsi agli stati di cose. Il problema è che non è in grado di modellizzare le reti di conoscenze e credenze necessarie a stabilire la verità per coerenza. Mi chiedo se queste reti siano effettivamente modellizzabili; ma forse non sarà necessario e la soluzione al problema delle allucinazioni arriverà da qualche altra parte.

Pensieri inutili

Contro le guerre culturali

Sono stato tentato di scrivere qualcosa sulle modifiche apportate ad alcuni romanzi di Roald Dahl.

Il caso, del resto, apre molti interrogativi interessanti.
Chi gestisce i diritti d’autore può modificare i testi come faceva lo stesso autore in vita? Il fatto che parliamo di letteratura per l’infanzia cambia qualcosa? Perché importanti cambiamenti nella trama o nei personaggi in opere derivate (vedi i molti film realizzati a partire dai romanzi di Dahl) ci indignano meno di una correzione al testo? Se correggere quanto scritto dell’autore è sbagliato, lo è anche pubblicare uno scritto che l’autore non voleva pubblicare?
Immaginando che la correzione di un refuso sia non solo tollerata ma anche auspicata, a che punto una correzione diventa inopportuna? Se una parola ha cambiato significato o accezione, è lecito sostituirla con una parola più vicina al significato originario e quindi alle intenzioni dell’autore? E se – cambiando autore e genere – qualcuno ripubblicasse le opere di Asimov sostituendo le anacronistiche schede perforate che ogni tanto compaiono con dei file caricati in rete?
Quanto è importante tenere pubblicamente traccia delle modifiche e mantenere accessibili le opere originali? Lasciare in nota i passaggi originali andrebbe bene? Come deve comportarsi chi traduce i testi di fronte a termini problematici o non più attuali? E cosa accadrebbe se fosse l’autore stesso a chiedere di aggiornare le sue opere affinché restino al passo con i tempi?

Lo scontro finale

Queste sono alcune delle domande che mi sono posto e sulle quali sarebbe interessante (e forse anche urgente) ragionare. A queste domande possiamo poi aggiungere tutte le riflessioni sugli effetti del linguaggio dispregiativo, giusto per mettere in contesto alcune delle modifiche apportare ai testi di Dahl. Questo non per condannare o assolvere l’operazione, ma per capire di preciso quali sono i problemi e quanto sono gravi.
Solo che per ragionare e discutere serve un ambiente adatto: nulla di troppo complicato, diciamo un posto dove chi dice la sua opinione non si sente come l’eroe che da solo affronta il nemico – e non una divisione che è lì per occupare una via di comunicazione, ma l’intero esercito arrivato per sterminare l’intera popolazione e spargere sale sulle macerie.

Questa metafora bellica merita un chiarimento, perché vi vedo due difficoltà. Il primo è proprio l’idea di concepire una divergenza di opinioni come uno scontro, invece di un’occasione per chiarirsi le idee e stabilire un terreno comune di discussione – il che non vuol dire arrivare a un compromesso, il terreno comune può semplicemente essere il fatto di pensarla diversamente. La seconda difficoltà riguarda il tipo di conflitto al quale si pensa. È un semplice diverbio, un duello mortale, uno scontro di poco conto, la battaglia dalla quale dipendono le sorti della guerra e forse della civiltà? A seconda di quale situazione immaginiamo cambiano le strategie.

Molte cose che ho letto su questa vicenda dei libri di Roald Dahl avevano lo spirito dello scontro finale. Aragorn che con pochi uomini affronta l’esercito di Mordor sperando che Frodo riesca a distruggere l’unico anello; il protagonista di Le streghe trasformato in topo che per eliminare le streghe inglesi deve versare la pozione magica nella minestra che tra poco mangeranno; Poirot che si taglia i baffi per sconfiggere i temibili Quattro e sventare il loro diabolico piano di impadronirsi del mondo.
Certo, restiamo nell’ambito di una guerra figurata in cui le armi sono perlopiù reboanti post sui social media, articoli indignati e che attirano l’indignazione, accuse di ipocrisia per mostrarsi i più puri e intransigenti. Se qualcuno dovesse davvero ricorrere alla violenza fisica, la cosa sarà solo in parte riconducibile agli eccessi retorici di questi giorni.

Va anche detto che non tutti hanno denunciato la più grande catastrofe culturale dall’incendio della biblioteca di Alessandria, sollecitato indignazione generale, invitato al boicottaggio eccetera. C’è chi ha provato a ragionare e a discutere, ma direi con scarsi risultati, almeno in questi primi giorni. Forse più avanti – quando sarà calata un po’ l’attenzione – ci saranno le condizioni per discussioni più lucide.

Un possibile manifesto: disinnescare le bombe culturali

Da quanto ho ripreso in mano questo sito, aggiornandolo più o meno regolarmente, mi sono chiesto se dovessi seguire una qualche “linea editoriale”. Insomma se scegliere un tema specifico invece di scrivere semplicemente quello che mi passa per la testa – come si poteva ancora fare all’epoca d’oro dei blog.
La risposta finora è sempre stata negativa. Del resto scrivo perché mi aiuta a chiarire le idee e a riordinare i pensieri. Che quello che scrivo possa essere utile ad altri è una speranza (probabilmente un’illusione), non un obiettivo. Eppure questa vicenda dei libri di Dahl – e soprattutto delle discussioni che ne sono seguite – mi convince della bontà dell’idea di un progetto di comunicazione. Disinnescare le bombe culturali, riflettere su come creare spazi di discussione in cui si costruisce qualcosa, evitando la facile indignazione.

Pensieri inutili

Il problema delle intelligenze artificiali è che funzionano troppo bene

Ho conosciuto Roberto Cingolani prima che diventasse ministro della transizione ecologica. In qualità di direttore scientifico dell’Istituto italiano di tecnologia di Genova aveva tenuto alcune conferenze in cui raccontava un po’ di cose sulla robotica. Affrontando anche il problema delle conseguenze sul mercato del lavoro.

La sua tesi, brutalmente riassunta, è che forse i computer potranno sostituire in molte cose gli esseri umani, ma in molti casi non ne vale la pena. Che senso ha usare un robot che, anche prodotto in serie, costa uno sproposito e consuma un bel po’ di energia se con una frazione di quei costi posso assumere una persona? Robot e intelligenze artificiali saranno competitivi per i lavori pericolosi – ma anche qui potrebbero convenire esoscheletri comandati da remoto da esseri umani – e soprattutto per quelli ripetitivi. Con la distinzione tra lavori manuali e intellettuali che diventa sempre meno importante.

Lasciamo da parte le preoccupazioni economiche, per le quali si dovrebbe fare un discorso serio su un vero reddito di cittadinanze. Questa divisione del lavoro potrebbe essere vista come una liberazione: i lavori ripetitivi annoiano e quelli pericolosi sono, appunto, pericolosi. Sarebbe bello lasciare alle macchine queste incombenze e occuparci delle cose più interessanti e stimolanti.

Solo che non è detto che agli esseri umani restino questi compiti interessanti e stimolanti. Lo spiega Gary Marcus commentando l’incidente avvenuto a CNET. In poche parole, l’azienda si è avvalsa di un’intelligenza artificiale per la scrittura degli articoli, con degli umani a coordinare e supervisionare il lavoro. Il risultato è stata una serie di imprecisioni ed errori.

Da dove arrivano queste allucinazioni, con l’intelligenza artificiale che si inventa fatti credibili ma falsi, è presto detto. Parliamo in questo caso di modelli linguistici, in pratica dei sofisticati pappagalli che imparano come le parole si relazionano tra di loro, non come le parole si relazionano con il mondo che conosciamo (come afferma sempre Marcus riprendendo Noam Chomsky).

Più interessante come queste allucinazioni siamo sfuggite ai revisori. L’attenzione umana è limitata, soprattutto quando gli interventi sono rari e limitati. Se i testi prodotti dall’intelligenza artificiale fossero stati scritti male, richiedendo correzioni e integrazioni, quelle allucinazioni sarebbero state identificate insieme agli altri errori. Ma di fronte a testi scritti bene e che non richiedono di correggere neanche una virgola, è normale che dopo un po’ l’attenzione cali. E così sfugga che, se investo 10’000 dollari con una rendita del 3%, arrivo a guadagnare 300 dollari, non 10’300.

Come osserva Marcus, lo stesso problema si presenta con le auto a guida autonoma. O l’intervento umano è completamente superfluo, oppure non puoi pretendere che un essere umano presti attenzione alla strada se per la maggior parte del tempo non deve fare niente. Certo, potremmo dire che alla fine si tratta di un errore umano, come afferma HAL 9000 in 2001: Odissea nello spazio. E come afferma la stessa ChatGPT quando le ho chiesto se può affermare cose false:

No, come modello di lingua artificiale AI sviluppato da OpenAI, non ho emozioni né personalità e fornisco risposte basate sui dati a cui sono stato addestrato. Tuttavia, i miei risultati possono essere imprecisi o incompleti a causa dei limiti del mio addestramento e dei dati disponibili.

Ammettiamo pure che il problema sia come gli esseri umani addestrano e verificano l’operato dell’intelligenza artificiale. Rimane il fatto che la tecnologia dovrebbe aiutarci a superare i limiti umani, non renderli più pericolosi.

Magari è solo questione di ripensare le strategie di revisione. Può essere che l’errore di CNET sia stato quello di rivedere il testo come se fosse stato scritto da un essere umano, senza rendersi conto che un testo scritto da un’intelligenza artificiale richiede procedure diverse. O forse è proprio sbagliato l’approccio e conviene usare l’intelligenza artificiale per la revisione e non per la scrittura dei contenuti. Chissà: la tecnologia deve ancora trovare un posto nelle nostre vite.

Nel frattempo, mi sento di riassumere così la questione: in attesa di un’intelligenza artificiale perfetta, meglio una che funziona male di una che funziona troppo bene.

Pensieri diversi

“Sembra che i risultati mostrati di seguito cambino rapidamente”

La decisione di escludere la Russia dalla cerimonia per il Giorno della memoria ad Auschwitz ha portato a diverse discussioni. In questi ultimi giorni si è scritto molto sia sull’opportunità dell’esclusione, sia sulla liberazione del campo di sterminio, se sia stata “sovietica”, “russa” o “ucraina”.

Così, Google ha aggiunto un avviso alle ricerche che riguardano l’armata rossa e la liberazione di Auschwitz:

Sembra che i risultati mostrati di seguito cambino rapidamente Se si tratta di un argomento nuovo, a volte può essere necessario del tempo prima che fonti affidabili pubblichino informazioni

Curiosamente l’avviso appare se cerco “l’armata rossa ha liberato Auschwitz” ma non “armata rossa liberazione Auschwitz”.

Io non ho mai visto un avviso simile e suona un po’ ridicolo che si parli di “argomento nuovo” per qualcosa avvenuto quasi ottant’anni fa. Capisco che qualcuno possa interpretare il tutto come un tentativo di “riscrivere la storia”, ma ragionando in astratto l’avviso mi pare molto utile.

Indice di novità

Credo che l’età media dei risultati sia un’informazione utile. Se su un tema i contenuti pertinenti sono stabili, con pochi aggiornamenti, posso immaginare che sul tema si sia raggiunta una certa maturità e che le cose non cambieranno a breve. Viceversa se i contenuti sono recenti, perché creati o aggiornati da poco, posso immaginare che la questione sia ancora oggetto di discussioni e la situazione potrebbe cambiare.
Certo, magari i contenuti sono recenti perché banalmente ci si riferisce a qualcosa di appena accaduto e che non presenta particolari difficoltà interpretative – penso ad esempio al risultato di un evento sportivo. Ma in generale è vero che la disinformazione è più veloce dell’informazione affidabile nel produrre contenuti. Si dice che “una bugia fa in tempo a compiere mezzo giro del mondo prima che la verità riesca a mettersi i pantaloni” (la frase è attribuita a Churchill ma pare sia molto più antica); questo avviso dà alla verità un po’ più di tempo per vestirsi.

La disinformazione è soprattutto più veloce nel colmare le lacune informative, figurando tra i primi risultati per parole chiave sui quali non c’è ancora molta informazione. Sfruttando questa lacune, e l’effetto Ikea della disinformazione, è possibile dare maggiore credibilità alla disinformazione.
Sulle lacune informative o data voids c’è un interessante rapporto scritto da Michael Golebiewski e danah boyd. Vengono distinte cinque categorie di lacune: notizie d’attualità, nuovi termini, termini obsoleti, concetti frammentati e ricerche problematiche. Tra gli esempi di ricerche problematiche si cita proprio l’Olocausto. Dal momento che i siti affidabili non mettono in dubbio lo sterminio nazista, ricerche come “l’Olocausto è realmente accaduto?” restituivano come risultati siti negazionisti. In risposta alle critiche alcuni anni fa Google ha modificato l’algoritmo per fare in modo che ai primi posti figurassero fonti affidabili.

L’avviso “sembra che i risultati mostrati di seguito cambino rapidamente” si inserisce probabilmente in questo contesto. Visto che l’Olocausto è un tema delicato, Google segnala eventuali anomalie. Ma io estenderei questa soluzione a tutte le ricerche. Una sorta di indice di novità che mi dice quanto i risultati siano mediamente recenti.

Ricerche filosofiche

L’effetto Ikea della (dis)informazione

Sto facendo delle ricerche sulle ricerche fai da te – quelle che chi fa controinformazione invita a fare con lo slogan “do your own research” sui vaccini, la crisi climatica, la guerra in Ucraina, l’allunaggio, gli attentati dell’11 settembre eccetera.

Fare ricerche per conto proprio non è di per sé sbagliato. Anzi direi che è una cosa buona e giusta, se non altro per comprendere meglio un determinato argomento. Ma sulle opportunità delle ricerche fai da te – se fatte bene – scriverò poi; qui mi soffermo sui rischi. Di solito si cita l’effetto Dunning-Kruger, quello per cui meno si è esperti più si è sicuri di sé. Ma sulle interpretazioni si impone qualche cautela.

Qui parlo di un altro effetto: l’effetto Ikea cognitivo.

L’uovo e la torta

Iniziamo dall’effetto Ikea classico. Si tratta della tendenza ad attribuire maggior valore ai prodotti assemblati o costruiti dal consumatore come appunto i mobili venduti dall’azienda svedese. A dare il nome a questo effetto sono stati, in un articolo del 2011, Michael Norton, Daniel Mochon e Dan Ariely. Il fenomeno era comunque già noto sia all’interno della psicologia sociale – si tratterebbe di un caso di “giustificazione dello sforzo” indagato da Leon Festinger nei suoi lavori sulla dissonanza cognitiva –, sia dal marketing. Gli autori citano il caso degli impasti preconfezionati per torte. Quando iniziarono a diffondersi negli anni Cinquanta del Novecento incontrarono la diffidenza dei consumatori, diffidenza superata modificando l’impasto e richiedendo l’aggiunta di un uovo. Secondo gli autori il lavoro costituito dall’aggiunta di quest’uovo, per quanto minimo, avrebbe aumentato il valore percepito della torta da parte dei consumatori.

Norton, Mochon e Ariely hanno misurato questo effetto con una serie di esperimenti. Chi fa uno sforzo per produrre alcuni oggetti – nel loro caso un mobile Ikea, un origami e un set lego – non solo attribuisce loro un valore maggiore rispetto a prodotti analoghi realizzati con maggior perizia da professionisti, ma si aspetta anche che altre persone li valutino maggiormente. Siamo disposti a spendere di più per un oggetto che abbiamo in parte realizzato. E ci aspettiamo anche che altre persone siano disposte a pagare di più per qualcosa fatto da noi anziché da un professionista.

Nel primo caso possiamo immaginare una sorta di valore affettivo dovuto al lavoro svolto, o ai vantaggi di una possibile personalizzazione (però l’effetto è stato rilevato anche con oggetti standard valutati unicamente per la loro funzionalità). Nel secondo caso siamo di fronte a un bias, una distorsione nel nostro modo di ragionare. Un bias che può essere sfruttato aumentando surrettiziamente il valore percepito dei beni venduti prevedendo un semplice lavoro da parte del consumatore. Come nel caso dell’uovo da aggiungere alla miscela per torte. Il lavoro richiesto deve essere sufficientemente elaborato da giustificare l’idea di aver contribuito a realizzare il prodotto – cosa che evidentemente non avveniva quando la miscela per torte era già pronta per il forno – ma sufficientemente semplice da garantire la realizzazione del prodotto. L’effetto Ikea, infatti, non si presenta quando il lavoro fai da te non va a buon fine (o quando il prodotto viene smontato).

Meglio degli esperti

È possibile che esista un effetto Ikea cognitivo che riguarda, invece di mobili e origami, i risultati di una ricerca fai da te? Lo scienziato cognitivo Tom Stafford pensa di sì e il filosofo Justin Tiehen sostiene che non sia una cosa così negativa. Sono portato a dargli ragione: indagare autonomamente un argomento anziché dare il proprio assenso a informazioni preconfezionate presenta il vantaggio di una maggiore comprensione.
Può quindi essere razionale attribuire un maggior valore epistemico alle informazioni ottenute tramite indagine. Tuttavia l’effetto Ikea non riguarda unicamente la valutazione da parte del soggetto, ma anche quella di altre persone. L’effetto Ikea cognitivo porta quindi una persona comune a pensare che le proprie conclusioni siano più affidabili più di quelle di un esperto. In qualche caso sarà anche vero (si dice che un esperto è uno che ha fatto tutti gli errori possibili nel suo campo), ma in generale è la ricetta perfetta per sbagliare.

La sociologa Francesca Tripodi, nel suo interessante The Propagandists’ Playbook. How Conservative Elites Manipulate Search and Threaten Democracy, approfondisce la similitudine tra i mobili Ikea e le conclusioni delle ricerche fai da te. In entrambi i casi il risultato dipende in minima parte dalle abilità del soggetto che di fatto si limita a eseguire semplici compiti indicati da qualcun altro:

But if conservative messaging is like a new table from Ikea, conservative elites are the engineers that design the furniture – making sure that the table goes together only one way, and with just the right amount of effort to give that perfectly satisfied feeling to the consumer (and encourage them to shop again soon).

Per i prodotti Ikea questo controllo sul risultato si basa su pezzi standard e istruzioni il più chiare e semplici possibili. Per la controinformazione invece tutto passa attraverso i motori di ricerca, sfruttando parole chiave poco usate e che vengono suggerite da chi invita a fare ricerche fai da te.