Seguendo il metodo Mantellini, ho provato a chiedere a ChatGPT chi io sia, o meglio “Chi è Maurizio Codogno”. Ecco la trascrizione:

Io non sono certo un esperto di AI, né di tecniche di comunicazione: ma da questo breve (e inconcludente) scambio ho notato alcune cose. Alcune me le aspettavo, altre no.

(a) ChatGPT potrà anche parlare in italiano (o se preferite, usare un modulo di traduzione italiano-inglese prima del suo modulo di “traduzione” nella sua struttura dati interna) ma non usa sicuramente molte fonti in italiano.

(b) ChatGPT non usa Wikipedia, e questo può essere comprensibile: mi sarei aspettato che dato che stiamo parlando in italiano avesse fatto un salto su it.wikipedia.org e tirato fuori il mio omonimo ex-calciatore, e invece nulla. Ma non usa nemmeno Wikidata (che ha informazioni in formato più facilmente processabile da una macchina, e dove “Maurizio Codogno” ritorna ben due risultati (l’ex calciatore e il sottoscritto). Questo invece mi pare molto più strano: mi sarei aspettato una richiesta di disambiguazione.

(c) Dopo che gli ho dato un’informazione generica ma corretta, e soprattutto facilmente parsificabile – se è uno scrittore, andiamo a cercare su una libreria online se ci sono dei suoi libri – la risposta è stata se possibile ancora più generica. “Ci sono alcuni scrittori” non ha molto senso, se non quello di prendere tempo. Lo stesso con “Alcuni di loro sono autori di libri di narrativa, altri di poesia o di saggi critici”. Mancano solo i libri per ragazzi e poi si è completata la suddivisione tipica degli scrittori.

(d) ChatGPT non usa nemmeno amazon come fonte per cercare un autore: anche amazon.com vende libri scritti da me, quindi non è un problema di corpus anglocentrico.

(e) Alla mia nuova affermazione “scrive saggi divulgativi” la risposta è stata fantastica. Dei due titoli indicati, in effetti Bing riporta una pagina web dove “Bit Economy” e “Maurizio Codogno” sono presenti insieme, ma non esiste nessun libro (o se per questo nessuna frase) intitolato “L’innovazione spiegata a mia figlia”. Evidentemente ChatGPT ha creato un titolo di libro plausibile per uno scrittore di saggi divulgativi. (Denis Guedj ha scritto “La matematica spiegata alle mie figlie”, e io avevo recensito sul blog il libro, ma direi che non può avere usato quell’informazione, altrimenti il titolo sarebbe stato corretto).

(f) Oltre che dire che “effettivamente” c’è qualche scrittore di nome Maurizio Codogno che si occupa di divulgazione scientifica e tecnologica, anche se non ne ha davvero idea (non perché sia un’AI e quindi non possa avere idee, ma banalmente perché ha tirato fuori titoli casuali di libri), ChatGPT ha cercato di estorcermi più informazioni.

Per curiosità ho provato a vedere se scrivendo direttamente in inglese le cose migliorassero. Ahimè, no, anzi… Ecco la trascrizione:

L’inizio è lo stesso; la seconda domanda è più dubitativa che nella versione italiana. Non dice più che ci sono diversi scrittori di nome Maurizio Codogno, ma che potrebbe forse essercene qualcuno di emergente o che scrive con uno pseudonimo. Insomma, una risposta interlocutoria ma corretta. Peccato che quando gli dico che è un comunicatore scientifico, tiri fuori una biografia apparentemente plausibile ma in cui non c’è nulla di vero, a partire dal mio supposto background in fisica e dal mio dottorato in scienze della comunicazione. Per la cronaca, “Cosmic Anatomy” è il titolo di un libro di cent’anni fa e “Quantum Mechanics for Everyone” di un MOOC. Non credo esista nemmeno un’associazione dal titolo che è la traduzione italiana di Italian Association for Science Communication: anche SWIM ha il nome (inglese…) “Science Writers in Italy”.

Cosa esce fuori da questo esempio, pur non certo esaustivo? Innanzitutto, che nonostante i quasi sessant’anni da ELIZA il modo di interazione non è cambiato molto. No, questo è cattivo. ELIZA si limitava a riformulare le risposte dell’interlocutore, mentre ChatGPT le prende come punto di partenza per costruire frasi “nuove”, nel senso che aggiunge informazioni – false, ma pur sempre informazioni. Ma entrambi i sistemi sfruttano la sempiterna tecnica dei maghi veggenti cartomanti: fare in modo che sia l’interlocutore stesso a dargli le informazioni, che poi vengono frullate in modo che sembrino delle scoperte. ChatGPT ha in più la capacità di inventarsi cose quando non le conosce: in fin dei conti, se ci pensate, quando uno fa una domanda è tipicamente perché non conosce la risposta, e un testo plausibile può venire facilmente accettato (e qui si capisce perché Wikipedia non voglia articoli scritti da ChatGPT, anche se non ha problemi con tanti tipi di bot). Devo dire che questo suo approccio mi ricorda molto quello di mio figlio quando lo interrogo su qualcosa che non sa: si arrampica sugli specchi, cercando disperatamente un mio cenno di assenso quando riesce a trovare una risposta abbastanza corretta. (Io sono bastardo dentro: faccio finta di niente sia quando imbrocca la risposta che quando la sbaglia, e per questo mi odia).

C’è anche chi, come Cleo Nardo, nota che si può migliorare la probabilità di risposte corrette con il metodo flattery+dialogue: si dice a ChatGPT che ci sono due personaggi (il dialogo), di cui uno è bravo bello e buono (l’adulazione) e gli si chiede cosa risponderebbe questo personaggio a una domanda di un altro personaggio. In questo caso pare che il sistema dia un peso minore alle risposte sbagliate nella sua base dati, perché probabilmente hanno un peso minore quando si aggiungono tutti i dati apparentemente estranei dell’adulazione. Anche questo ha un parallelo con il comportamento umano, anche se per noi la cosa funziona alla rovescia: parlar bene di qualcuno può far dare una risposta errata.

Insomma, ChatGPT cerca di fare il furbo esattamente come un umano, e lo si può intortare più o meno allo stesso modo: come facciamo a non definirlo tale? :-)