Simon Willison ha scritto su Substack riguardo a Wilson Lin e un suo progetto: FastRender, un browser scritto dall’IA. Lin dice chiaramente che non ha mai pensato di ottenere qualcosa al livello di Chrome: il progetto, nato come esperimento nel tempo libero a novembre e poi ampliato con nuove risorse quando ha visto i primi risultati, serviva soprattutto come proof of concept e banco di prova per vedere le capacità di interazione degli agenti. Guardando i numeri, sono impressionanti: si è arrivati ad avere 2000 agenti che operavano concorrentemente, e vi lascio solo immaginare quante risorse computazionali servono. In effetti il demo, con l’apertura della home page di CNN e di Wikipedia, ha mostrato che il browser è piuttosto lento, oltre a non avere ancora JavaScript funzionante: un agente l’ha stoppato perché non funzionava :-)
I programmatori potrebbero essere interessati sulla parte relativa ai commit – tutti chiaramente automatici – fatti dagli agenti. Per esempio, Lin ha trovato che era meglio lasciare una possibilità di un commit che non compilava, per non avere colli di bottiglia e rallentare lo sviluppo. Leggendo il resoconto, sono ragionevolmente certo che il progetto non potrà andare molto avanti senza interventi umani: però già solo avere più di un milione di righe di codice scritto in Rust e preparato da un singolo sviluppatore (e una quantità inconcepibile di potenza di calcolo, d’accordo) mi dà abbastanza da pensare.

Sono passati tre anni da quando il primo ChatGPT “serio” è stato reso pubblico, eppure sembra passato chissà quanto tempo. SOno usciti non so quanti libri che dicono che ci insegneranno a usarli in maniera perfetta: la mia sensazione è che la maggior parte di essi siano stati scritti usando un LLM, a giudicare dal loro stile. Ho invece trovato molto utile questo rapido tutorial di Alberto Romero, che lui dice poter essere letto in dieci minuti e messo in pratica in una giornata. Quello che mi è piaciuto è il suo approccio pragmatico – quello che in inglese si dice no-nonsense – e soprattutto il fatto che mi ha aiutato a focalizzare qualcosa che facevo già intuitivamente e mi ha dato qualche spunto in più. Provo quindi a raccontarvelo, aggiungendo le mie considerazioni personali. Il tutorial è diviso in quattro parti: la seconda e la terza sono più tecniche, anche se non dovete aspettarvi delle formule precotte ma sempre solo delle idee da mettere in pratica: la prima e la quarta sono più speculativve e quindi le migliori almeno dal punto di vista di uno come me che è più interessato al perché che al come.

Punto 1: Tenere presente con cosa si ha a che fare. Romero ci consiglia di vedere un LLM come uno strumento alieno, qualcosa di ben distinto sia da un motore di ricerca che da un essere umano. Un motore di ricerca trova (quando va bene, aggiungo io) qualcosa che c’è già; nell’interazione con un essere umano diamo implicitamente per scontata una quantità di nozioni di mutua conoscenza, che ci aiuta a imparare nuove cose. Un LLM non è nulla di tutto questo: il suo funzionamento è statistico, il che significa che non trova nulla di nuovo (nel senso che siamo noi a dare un significato a quello che emette) e che non è nemmeno capace di copiare quello che ha in pancia. Da qui il suo “essere alieno”, o meglio il fatto che non dobbiamo trattarlo secondo i nostri vecchi schemi. Il suo motto è “tutto è parzialmente chatgptabile”: l’enfasi è sul “tutto”, ma anche e soprattutto sul “parzialmente”. Come riassunto, L’AI è brava a:

• Scrivere in pochi minuti una bozza che ci richiederebbe delle ore;
• Completare dei nostri abbozzi di idea (presumendo che qualcun altro li abbia già avuti);
• Riformattare, nel senso di cambiare la forma di un documento in un modo qualunque;
• Farci da assistente, ma solo se conosciamo già l’argomento (non è un controsenso: uno può avere un’idea generale di un tema, ma non voler perdere tempo con i particolari, che il chatbot troverà per noi);
• Scrivere codice per problemi ben definiti (valgono le stesse considerazioni scritte qui sopra).

Quello su cui invece l’AI non è brava è:

• Tutto ciò che richiede delle competenze che non possiamo verificare;
• Capire quando sta sbagliando (a parte che molti chatbot si ostinano a dire di aver ragione…);
• La conoscenza sottintesa, cioè quello che non possiamo scrivere esplicitamente perché sarebbe troppo lungo da spiegare;
• Ragionamenti innovativi o scoperte genuine (di nuovo, magari noi possiamo sfruttare il suo output per fare un ragionamento innovativo, ma è l’equivalente di prendere delle frasi a caso e vedere cosa ci viene in mente);
• Consistenza a lungo termine: dopo un po’ si dimentica del contesto e parte per la tangente.

Punto 2: Non affannatevi a cercare il prompt perfetto. I prompt continueranno a essere necessari per interagire con le IA, ma più che studiare il prompt perfetto – che tanto non esiste – limitatevi a scrivere qualcosa di specifico per il compito da da fare. Il prompt non deve essere generico: anzi deve dare tutto il contesto necessario, dato che come detto sopra non possiamo assumere una conoscenza sottintesa. Specificate tutto quello che date per scontato, insomma: non è detto che lo sia – nel senso che statisticamente lo abbia trovato normalmente nel suo materiale di addestramento – per un LLM.

Punto 3: Esercitatevi sugli usi che vi servono di più. Qui il punto è che dovete imparare a riconoscere quali sono i punti deboli dell’IA rispetto alle vostre necessità, perché sono quelli su cui poi lavorerete dopo che avete ottenuto il primo risultato. Ecco alcuni degli esempi di Romero. (a) L’acceleratore di ricerca: dare in pasto un testo e fare domande specifiche, non “riassumimelo” ma “quali sono i tre punti principali del testo e come sono supportati dall’evidenza”, aggiungendo magari “io sono esperto in X e Y”. (b) Il generatore di bozze: questo è specialmente utile se avete la sindrome del foglio bianco, e permette poi di sfruttare una fissa dei chatbot: gli elenchi puntati, che si possono poi riordinare a piacere. (c) L’amico immaginario, a cui descrivere un problema che ci blocca, chiedendogli di essere onesto e non accondiscendente (funziona meglio con Gemini e Claude, rispetto a ChatGPT); in questo caso conviene chiedere di dare più opzioni, per evitare di avere la solita risposta con sicumera. (d) Chiedere una spiegazione a livelli diversi: evitare il “spiegamelo come se fossi un bambino di cinque anni” o “spiegami questo argomento”, ma come sempre specificare cosa sappiamo. (e) Trasformare formati, tipo da elenco puntato a prosa, da note prese in riunione ad action point, da un testo lungo a uno più breve; funziona meglio con testi scritti da noi, come sempre, perché possiamo verificarli meglio.

Punto 4: Imparare cosa non si può fare con gli strumenti IA. Abbiamo già visto alcune cose per cui l’IA non funziona. Non fidatevi delle sue affermazioni senza verificarle; un chatbot è felicissimo di darvi citazioni di libri e articoli che non esistono, o dicono tutt’altro (mi è capitato con Perplexity). Non usatelo per nulla di critico che non siete in grado di valutare: l’IA serve per accelerare un lavoro che sapreste fare, non per farne uno che non conoscete. Non dategli nulla di privato: io personalmente non mi fiderei neppure dei sistemi che dicono che non usano i vostri input per l’addestramento. Non ostinatevi a cambiare prompt se non vi arriva una risposta utile: o dovete aggiungere contesto, oppure è un compito per cui l’IA non funziona. Infine, va vene trattare il chatbot come un interlocutore, ma non esagerate col pensarlo un essere umano come noi.

Se avete saltato tutto il testo e siete arrivati a quest’ultimo capoverso, ecco un megariassunto in due punti: non antropomorfizzate i chatbot, e usateli per cose che siete in grado poi di verificare. Se vi attenete a questi due punti, andrà tutto bene.

È da alcuni mesi che Walter Quattrociocchi e il suo team ha introdotto il concetto di “epistemia”. L’articolo accademico (in inglese) è stato pubblicato su Pnas, ma trovate varie spiegazioni per esempio sul sito della Sapienza che lo riassume, su un’intervista sul sito Treccani o in un suo intervento Facebook ripreso riportato anche qui.

Le ultime sue parole che ho visto in materia sono su Facebook: “Epistemia è una condizione strutturale. Descrive ciò che accade quando, in modo sistematico e su larga scala, la plausibilità linguistica prende il posto della verifica come criterio operativo di conoscenza.” Più interessanti sono forse le frasi che seguono questa definizione:

La verifica non viene rifiutata, ma saltata. Il giudizio non viene negato, viene imitato.
Quando una risposta suona bene, il cervello abbassa naturalmente le difese. È sempre successo. La novità non è il meccanismo, ma la scala, la velocità e la normalizzazione con cui oggi questo meccanismo opera.
Per questo l’epistemia non è una questione tecnologica, ma cognitiva e sociale. […] Si affronta solo recuperando una consapevolezza elementare, ma ormai rara: sapere come una risposta è stata prodotta, quali passaggi sono stati compressi, quale tipo di giudizio è stato simulato invece di essere esercitato.

Facciamo un passo indietro. In filosofia l’epistème (notate che non è “epistemia”) è la conoscenza certa. E in effetti l’epistemologia è la parte della filosofia della scienza che studia le condizioni sotto le quali si può avere conoscenza scientifica e come si può raggiungere tale conoscenza. Se ci pensiamo un attimo, arrivare alla conoscenza non è mai stato un processo semplice, ma il risultato di una verifica fatta da più persone sulla validità di un ragionamento. Attenzione: la conoscenza non è fissata una volta per tutte, ma può mutare una volta che giungano nuove evidenze che cambiano i dati in nostro possesso (falsificano la teoria, direbbe Popper) oppure li faccia vedere sotto un’altra luce (una rivoluzione scientifica, direbbe Kuhn). Banalmente, la teoria newtoniana del moto planetario è stata sostituita da quella einsteiniana, e quindi la nostra conoscenza do quel moto è parimenti cambiata. Vabbè, poi c’è Feyerabend che dice che non si può fornire una descrizione generale della scienza, ma qui andiamo fuori strada: in ogni caso però anche per lui la verifica è fondamentale, con l’unica differenza che viene fatta indipendentemente da tutte le altre possibili teorie.

Cosa succede invece con gli LLM? La verifica non c’è più. Non tanto, o non solo, da noi che ci beviamo qualunque cosa ci risponda ChatGPT, ma dai modelli stessi, che scrivono una risposta apparentemente coerente e “che suona bene” usando semplicemente regole probabilistiche di plausibilità (e un po’ di regole retoriche che puliscono la risposta, aggiungo io). Come Quattrociocchi fa notare, il nostro cervello è abituato ad abbassare le difese quando sente qualcosa che suona bene: lo fa da almeno due millenni e mezzo. Il guaio è che con il proliferare di contenuti generati dalle IA ormai sta diventando sempre più difficile capire se quella che ci troviamo davanti è una risposta che deriva da un ragionamento oppure da una struttura statistica.

Da un certo punto di vista sono leggermente più ottimista di lui, quando afferma che il problema dell’epistemia «si affronta solo recuperando una consapevolezza elementare, ma ormai rara: sapere come una risposta è stata prodotta, quali passaggi sono stati compressi, quale tipo di giudizio è stato simulato invece di essere esercitato.». Paradossalmente, il fatto stesso che ci si è accorti che gli LLM funzionano meglio in modalità “ragionamento” (che non è un vero ragionamento, ma consiste nell’esplicitare i passaggi che fanno, che rientrano come input e quindi migliorano l’aderenza alla domanda fatta) fa sì che possiamo capire meglio se effettivamente c’è solo sbobb-IA oppure il modello ha recuperato conoscenza altrui. Guardando un altro campo in cui la statistica ormai la fa da padrona, le traduzioni automatiche funzionano a sufficienza, almeno per me che generalmente mi accorgo se c’è qualcosa che non va (la narrazione qui non è ancora per fortuna entrata nei testi tradotti, e comunque vorreste leggere una traduzione automatica di Shakespeare?)

Da un altro punto di vista sono però più pessimista: mi pare davvero che la gente abbia rinunciato alla possibilità di capire le cose, perché in realtà a loro non interessa capire (quando va bene…) o addirittura si convincono di avere fatto qualcosa di straordinario “grazie all’aiuto dell’AI e alle proprie capacità” (capacità infime, ça va sans dire). La prima possibilità non è certo nata con gli LLM: da ragazzo anch’io sono stato uno di quelli che “facevano le ricerche” copiando i testi da “Il mio libro delle ricerche”, o come si chiamava. Ma dopo un po’ si sperava che crescendo si imparasse non solo a copiare ma anche a capire: magari sbagliando, ma aumentando comunque la conoscenza che si aveva. La seconda possibilità è invece nuova, almeno nella sua diffusione (i principi e i ricchi hanno sempre avuto degli yes men che approvavano entusiasticamente tutto quello che loro facevano). Non so se riusciremo a risalire da questa china che stiamo prendendo.

In questi giorni mi sono trovato per due volte di fila questa battuta: «A priest, an imam, and a rabbit walk into a blood donation center.
The nurse asks the rabbit: “What’s your blood type?” “I’m probably a type O,” says the rabbit.» Ammetto di non averla capita. Cosa avvrei fatto una volta? Avrei aperto una casella di ricerca e scritto qualcosa tipo “priest imam rabbit joke”. Purtroppo sono anni che i motori di ricerca fanno sempre più schifo, e non mi basta nemmeno scegliere una stringa di ricerca particolare, come facevo in passato. Adesso ho aperto Gemini 3 e ho chiesto “could you explain this joke?” In pratica uso l’LLM come motore di ricerca (oltre che per le immagini dei post che scrivo su MaddMaths!, visto che non so disegnare).

Uno può chiedersi “ma non hai paura che si inventi la risposta?” Beh, no. In fin dei conti ho ancora la capacità di verificare la risposta, quindi se per me non ha senso posso buttarla via. E non è che la cosa cambierebbe con una ricerca standard: almeno con lo stato attuale dei risultati forniti devo comunque verificare anche lì che quanto trovo non sia farlocco. Questo non sarebbe davvero un problema: non sono legato a una tecnologia, e se Google ha deciso di passare all’immerdificazione del suo motore di ricerca per aumentare gli utili, come racconta Paolo Attivissimo e gli altri motori sono comunque meno ricchi di risultati posso tranquillamente passare a qualcosa di diverso. Il vero problema è un altro. Guardate qui:

Questo è il numero di domande fatte ogni mese su stackoverflow. L’ha postato sull’ex Twitter Sam Rose, insieme alla query che ha usato per ricavare il grafico. Qualche anno fa, il mio motto era “when everything else fails, ask Stackoverflow”. Evidementente è un pezzo che tutti facciano come me e usano un LLM per avere le risposte alle proprie domande. Solo che a questo punto Stackoverflow chiuderà a breve: e dove riusciranno gli LLM a trovare le informazioni necessarie per rispondere alle domande? In pratica, proprio perché sono diventati così bravi a rispondere alle domande attuali rischiamo di non avere più la possibilità di far loro “imparare” le risposte alle domande future, perché nessuno aggiungerà più informazioni nei soliti luoghi di raccolta. Mi chiedo se sono l’unico ad avere questa preoccupazione.

Ah: se nemmeno voi avete capito la battuta iniziale, è perché in realtà è una metabattuta. In genere queste storielle cominciano con “a priest, an imam and a rabbi“. Il coniglio risponde letteralmente “penso di essere di tipo zero”, ma “type O” si pronuncia come “typo”, refuso. Quindi si riferisce a sé stesso, affermando che “rabbit” è probabilmente un refuso per “rabbi”…

Mr November su twitter ha segnalato una “feature” “casualmente” inserita in Windows 11. Se cercate Digitazione e poi cliccate su “Informazioni di digitazione” trovate la schermata che ho mostrato qui sopra.

Potete dire che lui (ed io) siamo paranoici. Però pensateci su un attimo. Non è possibile che la sedicente intelligenza artificiale lavori localmente: non ci sarebbe abbastanza potenza di calcolo. Quindi i casi sono due: o non c’è nessuna IA in gioco (possibile), oppure in realtà c’è comunque un passaggio di dati. È poi vero che “Microsoft non raccoglie i dati sulla digitazione”: ma in futuro potrebbe cambiare il testo e dire “non associa i dati sulla digitazione al dispositivo” se non peggio, e non ce ne accorgeremmo esattamente come non ci saremmo accorti che era misteriosamente comparsa l’opzione attivata per default. Insomma, toglierla non dà nessun problema, ci sono già vari tipi di correttori attivi e possiamo sopravvivere anche senza l’intelligenza artificiale usata nella migliore delle ipotesi per addestrare i modelli col nostro lavoro.