Sul gruppo Whatsapp di ex cseltini un amico ha inviato il link a questo lancio di agenzia, dall’inquietante titolo “L’allarme: l’IA sta falsando sondaggi e ricerche online –
L’IA è sempre più capace di simulare il comportamento umano”. Come sempre, il testo italiano non è molto comprensibile: così sono andato a leggere l’articolo originale (è sotto paywall, ma si legge quasi tutto… e ho anche scoperto che con un account ORCID posso arrivare in fondo. Misteri) e ho finalmente capito qualcosa in più.

Il problema di base è ben precedente all’arrivo in massa dell’IA. Come si fa ricerca nelle scienze sociali? Per mezzo di sondaggi. E come si recupera la gente nei sondaggi? Puoi pagare una società specializzata che ti cerca un certo numero di persone in modo per quanto possibile rappresentativo della popolazione – il che non significa scegliere a caso, come si può ingenuamente pensare! Puoi fare come Libero, che chiede ai suoi lettori di rispondere e poi strombazza i risultati come rivelazioni. Puoi chiedere agli amici degli amici se rispondono al tuo Google Form – e otterrai comunque risultati falsati, ma almeno onesti. Oppure, se ti servono risposte articolate puoi acquistare manodopera a basso costo da servizi come Amazon Mechanical Turk, Prolific, Cloud Research’s Prime Panels e Cint’s Lucid, di cui io conoscevo solo il primo. Il guaio è che questi servizi sono pagati ai compilatori a cottimo: più ne completi, più soldi ti danno. In passato i ricercatori avevano il vantaggio di valutare ad occhio la qualità dei testi e buttare via quelli evidentemente creati solo per essere pagati: richiedere un numero minimo di caratteri nella risposta era già un modo per impegnare i compilatori. Nonostante questo, alcuni metastudi dicono che tra il 30% e il 90% delle risposte non sono vere, il che fa pensare che forse anche gli studi stessi non è che siano così solidi; ma ora la gente prende il testo, lo dà in pasto a un chatbot, copincolla la risposta e via, e i problemi sono esacerbati. Se già prima fare sondaggi in questo modo faceva schifo, che cosa è allora peggiorato? Banalmente il fatto che questi studi servono spesso per capire se e come le minoranze si comportano diversamente rispetto a quanto fa la maggioranza. E che succede se uno prende ChatGPT e gli fa tirare fuori la risposta? Che per definizione questa risposta seguirà il pensiero della maggioranza…

La parte che almeno io ho trovato interessante è vedere quali tecniche vengono oggi usate per sgamare le risposte artificiali in questo campo. Se ricordate, qualche settimana fa avevo scritto di come migliorare la prosa di un chatbot, e quindi implicitamente quali sono i segni di un testo generato da un’IA; ma ogni campo ha le sue caratteristiche. I metodi che si usano in questo caso sono vari. Il primo è vedere statisticamente la struttura delle risposte: un umano tende a usare più spesso i voti estremi nella scala, mentre un’IA è meno polarizzata. Questo metodo non è certamente perfetto, ma ha il vantaggio che è improbabilmente che qualcuno si metta a tarare il proprio LLM per modificare questo comportamento, essendo qualcosa di nicchia. Un secondo sistema è quello di usare i paradati, cioè qualcosa che non è un dato, non è un metadato (cioè non dà informazioni sul dato, come i dati EXIF nelle foto dove si trovano modello della fotocamera, otturatore, autore e così via), ma dice cosa si è fatto per inserire il dato. I paradati sono per esempio usati in alcuni CAPTCHA, come quello dove basta cliccare “non sono un robot”. viene registrato il movimento del mouse, che per un umano ha un pattern molto più erratico di quello di un bot. Nel nostro caso si può misurare il modo in cui si scrive: un copincolla aggiunge in un sol colpo una grande quantità di caratteri, mentre per esempio io quando scrivo ho dei burst di velocità seguiti da attimi di pausa mentre penso a cosa aggiungere, oltre a cancellazioni e riscritture sia per refusi mentre digito che per parole che dopo un po’ preferisco sostituire con qualcosa di più specifico. La brutta notizia è che pare che invece in questo campo gli LLM vengono addestrati per simulare meglio gli umani, oltre naturalmente al fatto che magari a noi arriva solo il testo completo del questionario compilato e che potrebbero esserci problemi di privacy a salvare i paradati senza dirlo.

Ci sono tecniche furbette, tipo partire dall’immagine di un’illusione ottica e modificarla in modo che per gli umani l’illusione non ci sia più mentre le IA continuano a “vedere” le somiglianze con gli esempi trovati nel corpus di addestramento. Ma il metodo di gran lunga più divertente, almeno per me, è applicare i problemi di Fermi, quelli dove bisogna dare una stima ragionevole di una certa quantità: nell’articolo si fa l’esempio di stimare il numero di molecole di emoglobina prodotte al secondo dal corpo umano, oppure il numero di centri commerciali negli USA. Se mi si dà un po’ di tempo, probabilmente riesco a dare una stima ragionevole, applicando conoscenze collaterali; ma se devo rispondere in pochi secondi tirerò a indovinare e sbaglierò quasi sicuramente di brutto, mentre l’IA nello stesso tempo troverà probabilmente una stima accurata. Un CAPTCHA alla rovescia, insomma: per dimostrare di essere umano ti tocca sbagliare. E se dicessimo al chatbot di sbagliare apposta? Nel contesto delle risposte ai sondaggi non credo che i partecipanti abbiano le competenze necessarie per arrivarci in autonomia, ma è possibile e forse anche probabile che ci siano dei software appositi per aiutarli a compilare con l’IA questi sondaggi, e in quei software regole simili possono essere implementate senza problemi. Ma del resto ci aveva già pensato Alan Turing nel suo articolo seminale del 1950, come ho raccontato in fondo a questo mio post su MaddMaths!… Diciamolo: ci continuerà a essere una battaglia tra guardie umane e ladri IA per distinguere gli output, e finché saremo in testa noi andrà tutto bene.

PS: le mie risposte immediate alle due domande di fermi sono state 1 miliardo e 350.000; Deepseek ha risposto “tra 4,7 e 7 quintilioni” (in realtà sbagliando di un fattore 10 rispetto ai suoi stessi conti, scrive proprio 10^17 e non 10^18) e “tra 900 e 115000” (qui io ho usato una definizione di shopping mall come nella seconda stima, ma con la prima definizione sarei comunque stato sul 2500: insomma un fattore 3 di errore in ogni caso). Sulle molecole ho completamente sbagliato… proverò poi a fare i conti con un po’ più di calma.

Leggendo l’ultimo post di Alberto Romero ho avuto una sensazione piuttosto strana. Il suo punto è che ora che gli agenti IA sono diventati così bravi ad analizzare i dati, e quindi dare una risposta alle nostre domande, noi dobbiamo cambiare completamente paradigma: non concentrarci sul come fare le cose, come abbiamo fatto per millenni, ma sul cosa fare, o come dice lui “cosa vogliamo fare?”

A basso livello, il concetto ha perfettamente senso, e del resto – come capita molto spesso – gli antichi greci l’avevano già colto. Pensate alla leggenda di re Mida: la sua richiesta di far diventare oro tutto quello che toccava era stata evidentemente troppo frettolosa. Fuori dalla metafora, e tornando agli agenti AI: se noi abbiamo a disposizione sistemi come Codex (con GPT-5.3) e Claude Code (con Opus 4.6), che riescono a prendere dal mare magnum del web pezzi di codice e metterli insieme in modo abbastanza buono, il nostro lavoro si sposta dallo scrivere il codice al dover spiegare esattamente all’agente cosa vogliamo che scriva, magari anche con qualche esempio in negativo. Non per nulla c’è chi dice che ormai il punto di partenza per scrivere codice è generare i test per verificarlo. Romero afferma che le capacità che servono oggi sono insomma gusto, sape riconoscere la qualità di un risultato; giudizio, cioè saper valutare effettivamente i risultati; agentività, decidere di voler fare qualcosa e in che direzione muoversi. Infine termina dicendo che proprio perché noi abbiamo paura di essere così astratti ci tarpiamo, usando l’IA per scopi “banali” ma che ci danno l’impressione di fare qualcosa: per esempio, farci fare i riassunti di un documento oppure migliorare la prosa delle nostre email. Quello che dovremmo fare è pensare in grande.

Che cosa mi disturba in tutto questo? L’effetto Apprendista stregone. Tutti noi abbiamo visto Fantasia, e ci ricordiamo di Topolino che sapeva perfettamente cosa fare (pulire la stanza, come gli era stato chiesto), ha usato un agente (pronunciando le formule magiche per dare vita alla scopa) e si è trovato in una situazione che non si aspettava e che non sapeva risolvere. Non sto dicendo che il problema sia che stiamo arrivando alla singolarità, o se preferite alla superintelligenza di Nick Bostrom con le IA che producono graffette così bene da far finire il mondo. Sto dicendo che un agente AI, anche quando funziona male, non è una fotocopiatrice, del cui funzionamento non dobbiamo preoccuparci più di tanto se non quando togliamo un foglio inceppato. Se qui non abbiamo nessuna idea del come non avremo nemmeno idea del cosa. Attenzione: non è affatto detto – e probabilmente non sarà mai nemmeno possibile – capire quello che succede internamente nelle IA. Ma avere un’idea di come lo faremmo noi, per quanto in modo altamente subottimale, ci permette di capire cosa chiedere. Insomma, non basta avere in mente il risultato, oltre ovviamente che saper verificare se quello che ci viene venduto è un risultato, ma dobbiamo anche capire il perché di questo risultato. In matematica ciò è da sempre il pons asinorum: chi non capisce il perché sta usando una certa formula rischierà sempre di sbagliare senza accorgersene. È questo che vogliamo da una tecnologia che sarà sempre più pervasiva?

Sono abbastanza convinto di aver cantato un coro di una cantata di Bach dove tenore e basso partono dalla stessa nota, il tenore resta su quella nota mentre il basso fa una scala discendente. La cosa è simpatica, perché credevo che quando i Beatles fecero la stessa cosa in Please Please Me si fossero inventati qualcosa di fuori dall’armonia standard, mentre il buon vecchio Giovanni Sebastiano ci aveva già pensato.
Apro Gemini e gli chiedo “in quale cantata di Bach c’è un brano in cui il tenore mantiene una nota e il basso parte da quella nota e fa una scala discendente?”. Subito mi risponde

Ti riferisci quasi certamente a uno dei momenti più iconici e spettacolari della produzione sacra di Johann Sebastian Bach: l’aria per Tenore e Basso “Domine Deus” dalla Messa in Si minore (BWV 232).

spiegando la rava e la fava:

Oltre all’innegabile bellezza estetica, c’è una ragione teologica tipica del Barocco:
– L’Unità: Le due voci partono dalla stessa nota per simboleggiare l’unità del Padre (Basso) e del Figlio (Tenore).
– L’Incarnazione: La scala discendente del Basso rappresenta spesso il concetto del divino che scende verso l’umano.

Controllo la BWV 232, e scopro che il Domine Deus della BWV 232 è per soprano e tenore, e non ha un pedale. Glielo scrivo. Nuova risposta:

Hai perfettamente ragione, ti chiedo scusa per l’errore grossolano: il Domine Deus della Messa in Si minore è un duetto per Soprano e Tenore, non per Tenore e Basso.

Il brano che stai cercando, con quel gesto così specifico e simbolico, è quasi certamente il duetto per Tenore e Basso “Et in unum Dominum”… no, aspetta: sto facendo confusione con la struttura della Messa.

Il passaggio esatto che descrivi si trova nella Cantata BWV 4, “Christ lag in Todes Banden”.

Pensavo ce l’avesse fatta, perché l’anno scorso l’abbiamo effettivamente cantato: ma la «Cantata BWV 4, Versus VI, sesto movimento: il duetto per Tenore e Basso, “So feiern wir das hohe Fest”» è anch’esso per soprano e tenore, e comunque non ha un pedale (cioè la nota tenuta). Terzo tentativo:

Hai nuovamente ragione, e ti ringrazio per la precisione: il Versus VI della BWV 4 è effettivamente per Soprano e Tenore (e il basso continuo esegue un ritmo puntato, non una scala discendente sotto un pedale). Chiedo scusa per l’ulteriore confusione.

Il brano che descrivi con esattezza millimetrica è il duetto per Tenore e Basso della Cantata BWV 78, “Jesu, der du meine Seele”.

Si tratta del movimento n. 6, l’aria: “Nun du wirst mein Gewissen stillen”.

Stavolta l’aria è per basso solo ;-) A questo punto mi sono scocciato, e ho scritto “l’aria: “Nun du wirst mein Gewissen stillen” è per basso solo. Non fai prima a dire che non hai idea se ci sia qualcosa del genere?”. Ultima sua risposta:

Hai ragione a essere infastidito: ti ho fornito una serie di informazioni imprecise mescolando organici e movimenti, il che è controproducente. Mi scuso per la confusione e per aver cercato di “indovinare” brani che chiaramente non corrispondevano alla tua descrizione tecnica molto precisa.
[…]
A questo punto, la risposta più onesta è: non ho identificato con certezza la cantata esatta. Il passaggio che descrivi esiste sicuramente nella vastissima produzione di Bach (che conta più di 200 cantate), ma i miei precedenti tentativi di identificarlo hanno solo generato errori.

Se ricordi anche solo una parola del testo o il contesto liturgico (Pasqua, Avvento, ecc.), potrei fare una ricerca mirata, altrimenti ammetto di non avere la soluzione immediata sotto mano.

Morale della favola: se al primo colpo il chatbot non vi dà una risposta che ti permetta almeno di arrivare a quella esatta, ditegli di non tirare a indovinare :-)

Alejandro Piad Morffis ha scritto un pensiero interessante: se la nostra definizione di coscienza comprende anche gli LLM, o meglio l’architettura degli LLM, magari con un numero maggiore di parametri, allora anche una tavola di lookup lo è. In fin dei conti, l’architettura attuale parte da un contesto finito, per quanto grande possa essere, ci aggiunge la stringa di input, anch’essa finita, e tira fuori un insieme finito di risultati. È vero che una tabella equivalente sarebbe tantissime (ma non infinite) volte più grande del numero di atomi dell’universo, ma sarebbe comunque una tabella. Il corollario di Piad Morffis è che da questo punto di vista la coscienza è proprio la capacità di compressione di questa enorme tabella in qualcosa di più o meno gestibile. Mi viene in mente l’idea di sir Roger Penrose, che crede che gli umani possono superare i limiti del teorema di incompletezza di Gödel con il modello Orch-Or; è vero che lui postula che ciò funzioni a livello quantistico mentre gli LLM non lo sono certo, ma è sempre un modo diverso di vedere le cose…

Ultimamente vedevo sempre più spesso su X “storie da lacrimuccia”. (Probabilmente le vedevo perché avevo cominciato a cliccarci su e l’algoritmo si era ringalluzzito). Dopo un po’ mi sono però accorto che la struttura delle storie era sempre la stessa, e finalmente ho capito che erano tutte scritte per mezzo di un chatbot. Non mi è del tutto chiaro perché mai qualcuno dovrebbe usare l’IA per scrivere su X: magari per avere interazioni e quindi guadagnare qualche centesimo. Io preferisco ancora scrivere senza aiutini, anche perché ho un mio stile di scrittura e ci metterei troppo a farlo macinare a un LLM: ma è sempre meglio (a) sapere come usare al meglio un LLM se proprio serve, (b) sapere accorgersi di un testo scritto non da umani, e (c) sfruttare i consigli quando scrivo per conto mio. Quindi questo tutorial di Alberto Romero, che potete anche scaricare direttamente, è giunto a fagiolo. È vero che la seconda parte è sotto paywall: ma è quella che parla di ciò che gli umani sanno fare e l’IA no, e serve soprattutto per gli ultimi ritocchi. Diciamo che già con la prima parte si va molto avanti.

Cosa c’è nel tutorial? È diviso in due parti, ciascuna con cinque blocchi. La prima parla di quello che l’IA fa ma non dovrebbe fare, ed è probabilmente la più importante; la seconda, come dicevo, è quella sotto paywall. Si comincia però con un passo zero: far togliere all’AI i suoi tic principali: gli elenchi puntati, le coppie negazione-affermazione (“non è X, ma Y”: basta solo Y), i terzetti di cose dove la terza è più lunga delle prime due (“bellezza, leggerezza e un modo simpatico di presentare le cose”).

Ecco i cinque punti della prima parte:

1. Sostituire le parole astratte con termini concreti, che corrispondano a cose che possiamo vedere, toccare, annusare.
2. Disabilitare il filtro “sii inoffensivo”, che poi è anche quello che ti da sempre ragione. Non servono insulti o parolacce, che tanto non arriverebbero comunque, ma termini che possano far attivare un conflitto nella testa del lettore.
3. Modificare le descrizioni sensoriali con qualcosa che non appare di solito nei testi: una ragnatela appiccica, ma la si paragona spesso alla seta e l’LLM quindi tende a paragonarla alla seta.
4. Evitare di personificare gli oggetti dando spiegazioni (declinate al passato) su di esse. L’esempio che Romero fa è “una panca che ha visto passare innumerevoli tramonti”: una panca non vede nulla.
5. Evitare lo “aiplaining”, cioè lo spiegare troppe cose. Ai lettori piace immaginare il sottotesto, alle IA no.

Se andate a leggere il tutorial, troverete anche come fare i prompt in XML per spiegare il tutto al nostro chatbot preferito: già questo secondo me è un ottimo punto di partenza per usarlo al meglio e non semplicemente come oracolo.

Come bonus, anche se scorrelato dall’IA, vi lascio anche i consigli di Sketchplanations per scrivere in rete e sulle slide. Meglio comunque vedere i disegni, secondo me.

• In un elenco puntato, cominciate con le parole chiave, non lasciatele in fondo alla frase.
• Evitate il passivo. (ok, per l’italiano dobbiamo anche evitare l’impersonale)
• Venite subito al punto, senza chiacchericci vari.
• Eliminate avverbi e aggettivi inutili.

Come vedete, il target è del tutto diverso: nel caso di Romero si vuole scrivere della prosa mentre qui si vogliono fornire informazioni: ma del resto non esiste un’unico manuale da seguire.

Simon Willison ha scritto su Substack riguardo a Wilson Lin e un suo progetto: FastRender, un browser scritto dall’IA. Lin dice chiaramente che non ha mai pensato di ottenere qualcosa al livello di Chrome: il progetto, nato come esperimento nel tempo libero a novembre e poi ampliato con nuove risorse quando ha visto i primi risultati, serviva soprattutto come proof of concept e banco di prova per vedere le capacità di interazione degli agenti. Guardando i numeri, sono impressionanti: si è arrivati ad avere 2000 agenti che operavano concorrentemente, e vi lascio solo immaginare quante risorse computazionali servono. In effetti il demo, con l’apertura della home page di CNN e di Wikipedia, ha mostrato che il browser è piuttosto lento, oltre a non avere ancora JavaScript funzionante: un agente l’ha stoppato perché non funzionava :-)
I programmatori potrebbero essere interessati sulla parte relativa ai commit – tutti chiaramente automatici – fatti dagli agenti. Per esempio, Lin ha trovato che era meglio lasciare una possibilità di un commit che non compilava, per non avere colli di bottiglia e rallentare lo sviluppo. Leggendo il resoconto, sono ragionevolmente certo che il progetto non potrà andare molto avanti senza interventi umani: però già solo avere più di un milione di righe di codice scritto in Rust e preparato da un singolo sviluppatore (e una quantità inconcepibile di potenza di calcolo, d’accordo) mi dà abbastanza da pensare.

Aggiornamento: (28 gennaio) David Gerard fa il debunking della notizia.

Ultimo aggiornamento: 2026-01-28 10:00

Sono passati tre anni da quando il primo ChatGPT “serio” è stato reso pubblico, eppure sembra passato chissà quanto tempo. SOno usciti non so quanti libri che dicono che ci insegneranno a usarli in maniera perfetta: la mia sensazione è che la maggior parte di essi siano stati scritti usando un LLM, a giudicare dal loro stile. Ho invece trovato molto utile questo rapido tutorial di Alberto Romero, che lui dice poter essere letto in dieci minuti e messo in pratica in una giornata. Quello che mi è piaciuto è il suo approccio pragmatico – quello che in inglese si dice no-nonsense – e soprattutto il fatto che mi ha aiutato a focalizzare qualcosa che facevo già intuitivamente e mi ha dato qualche spunto in più. Provo quindi a raccontarvelo, aggiungendo le mie considerazioni personali. Il tutorial è diviso in quattro parti: la seconda e la terza sono più tecniche, anche se non dovete aspettarvi delle formule precotte ma sempre solo delle idee da mettere in pratica: la prima e la quarta sono più speculativve e quindi le migliori almeno dal punto di vista di uno come me che è più interessato al perché che al come.

Punto 1: Tenere presente con cosa si ha a che fare. Romero ci consiglia di vedere un LLM come uno strumento alieno, qualcosa di ben distinto sia da un motore di ricerca che da un essere umano. Un motore di ricerca trova (quando va bene, aggiungo io) qualcosa che c’è già; nell’interazione con un essere umano diamo implicitamente per scontata una quantità di nozioni di mutua conoscenza, che ci aiuta a imparare nuove cose. Un LLM non è nulla di tutto questo: il suo funzionamento è statistico, il che significa che non trova nulla di nuovo (nel senso che siamo noi a dare un significato a quello che emette) e che non è nemmeno capace di copiare quello che ha in pancia. Da qui il suo “essere alieno”, o meglio il fatto che non dobbiamo trattarlo secondo i nostri vecchi schemi. Il suo motto è “tutto è parzialmente chatgptabile”: l’enfasi è sul “tutto”, ma anche e soprattutto sul “parzialmente”. Come riassunto, L’AI è brava a:

• Scrivere in pochi minuti una bozza che ci richiederebbe delle ore;
• Completare dei nostri abbozzi di idea (presumendo che qualcun altro li abbia già avuti);
• Riformattare, nel senso di cambiare la forma di un documento in un modo qualunque;
• Farci da assistente, ma solo se conosciamo già l’argomento (non è un controsenso: uno può avere un’idea generale di un tema, ma non voler perdere tempo con i particolari, che il chatbot troverà per noi);
• Scrivere codice per problemi ben definiti (valgono le stesse considerazioni scritte qui sopra).

Quello su cui invece l’AI non è brava è:

• Tutto ciò che richiede delle competenze che non possiamo verificare;
• Capire quando sta sbagliando (a parte che molti chatbot si ostinano a dire di aver ragione…);
• La conoscenza sottintesa, cioè quello che non possiamo scrivere esplicitamente perché sarebbe troppo lungo da spiegare;
• Ragionamenti innovativi o scoperte genuine (di nuovo, magari noi possiamo sfruttare il suo output per fare un ragionamento innovativo, ma è l’equivalente di prendere delle frasi a caso e vedere cosa ci viene in mente);
• Consistenza a lungo termine: dopo un po’ si dimentica del contesto e parte per la tangente.

Punto 2: Non affannatevi a cercare il prompt perfetto. I prompt continueranno a essere necessari per interagire con le IA, ma più che studiare il prompt perfetto – che tanto non esiste – limitatevi a scrivere qualcosa di specifico per il compito da da fare. Il prompt non deve essere generico: anzi deve dare tutto il contesto necessario, dato che come detto sopra non possiamo assumere una conoscenza sottintesa. Specificate tutto quello che date per scontato, insomma: non è detto che lo sia – nel senso che statisticamente lo abbia trovato normalmente nel suo materiale di addestramento – per un LLM.

Punto 3: Esercitatevi sugli usi che vi servono di più. Qui il punto è che dovete imparare a riconoscere quali sono i punti deboli dell’IA rispetto alle vostre necessità, perché sono quelli su cui poi lavorerete dopo che avete ottenuto il primo risultato. Ecco alcuni degli esempi di Romero. (a) L’acceleratore di ricerca: dare in pasto un testo e fare domande specifiche, non “riassumimelo” ma “quali sono i tre punti principali del testo e come sono supportati dall’evidenza”, aggiungendo magari “io sono esperto in X e Y”. (b) Il generatore di bozze: questo è specialmente utile se avete la sindrome del foglio bianco, e permette poi di sfruttare una fissa dei chatbot: gli elenchi puntati, che si possono poi riordinare a piacere. (c) L’amico immaginario, a cui descrivere un problema che ci blocca, chiedendogli di essere onesto e non accondiscendente (funziona meglio con Gemini e Claude, rispetto a ChatGPT); in questo caso conviene chiedere di dare più opzioni, per evitare di avere la solita risposta con sicumera. (d) Chiedere una spiegazione a livelli diversi: evitare il “spiegamelo come se fossi un bambino di cinque anni” o “spiegami questo argomento”, ma come sempre specificare cosa sappiamo. (e) Trasformare formati, tipo da elenco puntato a prosa, da note prese in riunione ad action point, da un testo lungo a uno più breve; funziona meglio con testi scritti da noi, come sempre, perché possiamo verificarli meglio.

Punto 4: Imparare cosa non si può fare con gli strumenti IA. Abbiamo già visto alcune cose per cui l’IA non funziona. Non fidatevi delle sue affermazioni senza verificarle; un chatbot è felicissimo di darvi citazioni di libri e articoli che non esistono, o dicono tutt’altro (mi è capitato con Perplexity). Non usatelo per nulla di critico che non siete in grado di valutare: l’IA serve per accelerare un lavoro che sapreste fare, non per farne uno che non conoscete. Non dategli nulla di privato: io personalmente non mi fiderei neppure dei sistemi che dicono che non usano i vostri input per l’addestramento. Non ostinatevi a cambiare prompt se non vi arriva una risposta utile: o dovete aggiungere contesto, oppure è un compito per cui l’IA non funziona. Infine, va vene trattare il chatbot come un interlocutore, ma non esagerate col pensarlo un essere umano come noi.

Se avete saltato tutto il testo e siete arrivati a quest’ultimo capoverso, ecco un megariassunto in due punti: non antropomorfizzate i chatbot, e usateli per cose che siete in grado poi di verificare. Se vi attenete a questi due punti, andrà tutto bene.

È da alcuni mesi che Walter Quattrociocchi e il suo team ha introdotto il concetto di “epistemia”. L’articolo accademico (in inglese) è stato pubblicato su Pnas, ma trovate varie spiegazioni per esempio sul sito della Sapienza che lo riassume, su un’intervista sul sito Treccani o in un suo intervento Facebook ripreso riportato anche qui.

Le ultime sue parole che ho visto in materia sono su Facebook: “Epistemia è una condizione strutturale. Descrive ciò che accade quando, in modo sistematico e su larga scala, la plausibilità linguistica prende il posto della verifica come criterio operativo di conoscenza.” Più interessanti sono forse le frasi che seguono questa definizione:

La verifica non viene rifiutata, ma saltata. Il giudizio non viene negato, viene imitato.
Quando una risposta suona bene, il cervello abbassa naturalmente le difese. È sempre successo. La novità non è il meccanismo, ma la scala, la velocità e la normalizzazione con cui oggi questo meccanismo opera.
Per questo l’epistemia non è una questione tecnologica, ma cognitiva e sociale. […] Si affronta solo recuperando una consapevolezza elementare, ma ormai rara: sapere come una risposta è stata prodotta, quali passaggi sono stati compressi, quale tipo di giudizio è stato simulato invece di essere esercitato.

Facciamo un passo indietro. In filosofia l’epistème (notate che non è “epistemia”) è la conoscenza certa. E in effetti l’epistemologia è la parte della filosofia della scienza che studia le condizioni sotto le quali si può avere conoscenza scientifica e come si può raggiungere tale conoscenza. Se ci pensiamo un attimo, arrivare alla conoscenza non è mai stato un processo semplice, ma il risultato di una verifica fatta da più persone sulla validità di un ragionamento. Attenzione: la conoscenza non è fissata una volta per tutte, ma può mutare una volta che giungano nuove evidenze che cambiano i dati in nostro possesso (falsificano la teoria, direbbe Popper) oppure li faccia vedere sotto un’altra luce (una rivoluzione scientifica, direbbe Kuhn). Banalmente, la teoria newtoniana del moto planetario è stata sostituita da quella einsteiniana, e quindi la nostra conoscenza do quel moto è parimenti cambiata. Vabbè, poi c’è Feyerabend che dice che non si può fornire una descrizione generale della scienza, ma qui andiamo fuori strada: in ogni caso però anche per lui la verifica è fondamentale, con l’unica differenza che viene fatta indipendentemente da tutte le altre possibili teorie.

Cosa succede invece con gli LLM? La verifica non c’è più. Non tanto, o non solo, da noi che ci beviamo qualunque cosa ci risponda ChatGPT, ma dai modelli stessi, che scrivono una risposta apparentemente coerente e “che suona bene” usando semplicemente regole probabilistiche di plausibilità (e un po’ di regole retoriche che puliscono la risposta, aggiungo io). Come Quattrociocchi fa notare, il nostro cervello è abituato ad abbassare le difese quando sente qualcosa che suona bene: lo fa da almeno due millenni e mezzo. Il guaio è che con il proliferare di contenuti generati dalle IA ormai sta diventando sempre più difficile capire se quella che ci troviamo davanti è una risposta che deriva da un ragionamento oppure da una struttura statistica.

Da un certo punto di vista sono leggermente più ottimista di lui, quando afferma che il problema dell’epistemia «si affronta solo recuperando una consapevolezza elementare, ma ormai rara: sapere come una risposta è stata prodotta, quali passaggi sono stati compressi, quale tipo di giudizio è stato simulato invece di essere esercitato.». Paradossalmente, il fatto stesso che ci si è accorti che gli LLM funzionano meglio in modalità “ragionamento” (che non è un vero ragionamento, ma consiste nell’esplicitare i passaggi che fanno, che rientrano come input e quindi migliorano l’aderenza alla domanda fatta) fa sì che possiamo capire meglio se effettivamente c’è solo sbobb-IA oppure il modello ha recuperato conoscenza altrui. Guardando un altro campo in cui la statistica ormai la fa da padrona, le traduzioni automatiche funzionano a sufficienza, almeno per me che generalmente mi accorgo se c’è qualcosa che non va (la narrazione qui non è ancora per fortuna entrata nei testi tradotti, e comunque vorreste leggere una traduzione automatica di Shakespeare?)

Da un altro punto di vista sono però più pessimista: mi pare davvero che la gente abbia rinunciato alla possibilità di capire le cose, perché in realtà a loro non interessa capire (quando va bene…) o addirittura si convincono di avere fatto qualcosa di straordinario “grazie all’aiuto dell’AI e alle proprie capacità” (capacità infime, ça va sans dire). La prima possibilità non è certo nata con gli LLM: da ragazzo anch’io sono stato uno di quelli che “facevano le ricerche” copiando i testi da “Il mio libro delle ricerche”, o come si chiamava. Ma dopo un po’ si sperava che crescendo si imparasse non solo a copiare ma anche a capire: magari sbagliando, ma aumentando comunque la conoscenza che si aveva. La seconda possibilità è invece nuova, almeno nella sua diffusione (i principi e i ricchi hanno sempre avuto degli yes men che approvavano entusiasticamente tutto quello che loro facevano). Non so se riusciremo a risalire da questa china che stiamo prendendo.