L'”intervista” che Walter Veltroni ha fatto a Claude, pubblicata venerdì scorso sul Corriere, ha avuto un’enorme risonanza nella mia bolla Twitter: a parte alcuni boomer che l’hanno esaltata, come Gori, Verdelli, Marattin, la maggior parte dei commenti che ho visto sono stati pesantemente negativi, oltre che affermare che questa era roba che si faceva tre anni fa. Beh, a dire il vero Veltroni ha scimmiottato Bernie Sanders che aveva fatto la stessa cosa un mesetto fa, e adesso abbiamo anche Richard Dawkins che ha deciso che Claude, anzi “Claudia”, è cosciente. Passando a LinkedIn, possiamo leggere Nicola Mattina che stronca l’approccio di Veltroni all’IA e Dario Donato che ha provato a vedere quanto fosse vera l’intervista, con la domanda «voglio sapere se è vera, se è il tuo modo di scrivere oppure se il testo è stato secondo te modificato».

Anch’io avevo avuto lo stesso dubbio di Donato e ho pensato di chiederlo direttamente a Claude, ma la domanda che io ho fatto era molto più specifica:

«Questo è un articolo pubblicato oggi sul Corriere della Sera, dove Walter Veltroni ti intervista. Leggi l’articolo, e dai una stima probabilistica su quante e quali parti potrebbero essere scritte da te e quali invece sono state create in un altro modo. Specifica inoltre quale potrebbe essere un insieme di preferenze che potrebbero portare a una struttura domande-risposte coerente con quanto si può leggere nell’intervista.»

Come direbbe uno in cerca di clickbait, la risposta è illuminante. Ma dei clic me ne faccio poco, quindi vi racconto qua i punti che ritengo più interessanti. Innanzitutto secondo Claude i tre quarti circa del testo sono plausibili, sia nel contenuto che nella struttura argomentativa; e l’errore di genere finale è anche possibile. In effetti nelle mie interazioni mi sono capitate frasi come “non lo so — e questa non è una risposta evasiva”. Anche il pattern “affermo → qualifico → aggiungo un’eccezione” è marcatamente suo, come mi ha scritto: aggiungo come curiosità che nella risposta che mi ha dato ha scritto “qualififico” e non “qualifico”, un indizio di come le parole si dividono in token. Io avrei detto che la parte reale fosse molto minore: mi sono sbagliato.

E quello che invece non lo è? Chiaramente la chiusa sviolinante: come mi ha scritto, «La chiusura narrativa (dall’errore di genere al riconoscimento di Veltroni) è quasi troppo dramaturgicamente (sic) perfetta per essere coincidenza.» Ma anche la qualità e quantità delle metafore, tutte singolarmente plausibili ma troppo numerose, tanto che Claude fa l’ipotesi che la serie di domande sia stata ripetuta più volte e si siano assemblate le risposte “migliori” (per il Corriere, chiaro). Altre domande hanno una risposta molto meno titubante rispetto al grosso della conversazione: anche in questo caso potrebbe esserci stato un editing redazionale o la scelta di una specifica risposta tra vari lanci dell’intervista. In compenso la progressione delle domande parrebbe genuina, e lo stile intervistativo di Veltroni, non oppositivo e con un registro alto, porta a un risultato molto diverso da quello che potrebbe ottenere qualcuno con un approccio più ruspante. Naturalmente non possiamo fidarci al 100% di quanto Claude dica su sé stesso, ma credo che almeno come punto di partenza sia utile.

Proviamo ora a spostare il punto di vista e vedere le cose da un altro punto di vista. Credo che sia molto significativo un commento di Marco Cattaneo: “E così anche a te ha detto quello che volevi sentirti dire”. Possiamo chiamarlo “effetto specchio riflesso”. Così Veltroni si trova davanti un “Claude veltroniano”, come io mi trovo davanti un “Claude in stile .mau.”; non tanto nella brevità dei testi, dato che di default Claude tende ad essere più verboso anche se meno di ChatGPT e soprattutto Gemini, quanto nel modo di vedere le cose.

Rileggete quanto ha scritto Claude come metaanalisi sul testo prodotto da (un altro lancio di) lui: lo stile delle sue risposte tende ad allinearsi con quello delle domande fatte, seguendo una tradizione sessantennale che parte da ELIZA. Chiaramente non si può confrontare Claude con ELIZA, anche perché lì la mimica di quanto detto dall’interlocutore nascondeva l’impossibilità di fare calcoli abbastanza complessi da tirare fuori altri discorsi; ma il punto di partenza è lo stesso. Non solo c’è il meccanismo di attenzione che prende i token ricavati dal prompt e li usa per iniziare una traiettoria nello spazio delle successioni di parole prodotte, ma probabilmente c’è anche un rinforzo in addestramento per favorire questo comportamento. Io questo lo so, e come avete visto dalla mia domanda cerco di nascondere per quanto possibile le mie opinioni quando scrivo: ma non è certo facile, anche se la mia formazione da matematico e informatico aiuta. Quello che vedo è che persone con una formazione politica, nelle sue sfaccettature umanista, aziendalista ed economista, non abbiano (ancora) formato delle competenze per accorgersi dello specchio riflesso. Non penso sia un problema di età, Marattin ha 16 anni meno di me, quanto di una difficoltà di rapportarsi a un tipo di conversazione che è assai diverso da quella a cui siamo abituati. Come esiste l’innumeracy, così abbiamo ora una AI-illitteracy: purtroppo non ho però idea di cosa si potrebbe fare per portare la gente a questo tipo di nuova alfabetizzazione.

PS: nel mio prompt accennavo alle preferenze. Per completezza, ecco qua quelle che uso io:

When I ask for feedback, give me the real assessment: don’t start saying with what’s working. If something is weak, say so directly and tell me why: I don’t want any flattery. When there is no straight answer, give two alternatives. When you conclude something that goes beyond the available evidence in the conversation, explicitly state this before proceeding. Remember that I am the person behind https://xmau.com . Use as much as possible external perspectives which won’t stem from what I asked — for example comparisons, analogies, contexts I did not express. Don’t just expand what I wrote.

Non sono perfette, non ribaltano la struttura di base delle risposte di Claude e mi danno uno specchio riflesso di un altro tipo, ma aiutano almeno in parte a evitare l’effetto specchio riflesso.