Seguendo il metodo Mantellini, ho provato a chiedere a ChatGPT chi io sia, o meglio “Chi è Maurizio Codogno”. Ecco la trascrizione:
Io: Chi è Maurizio Codogno?
ChatGPT: Mi dispiace, non ho informazioni su una persona specifica con quel nome. Potrebbe fornirmi ulteriori dettagli su chi sia Maurizio Codogno?
Io: È uno scrittore
ChatGPT: Grazie per la precisazione. Purtroppo non ho informazioni dettagliate su tutti gli scrittori, ma posso dirti che ci sono diversi scrittori italiani di nome Maurizio Codogno. Alcuni di loro sono autori di libri di narrativa, altri di poesia o di saggi critici. Se hai informazioni più specifiche su un particolare Maurizio Codogno di cui vuoi sapere di più, posso provare a cercare informazioni più dettagliate per te.
Io: scrive saggi divulgativi
ChatGPT: Capisco. Ci sono effettivamente alcuni scrittori italiani di nome Maurizio Codogno che si occupano di divulgazione scientifica e tecnologica. Ad esempio, Maurizio Codogno è l’autore di libri come “Bit economy” e “L’innovazione spiegata a mia figlia”, che trattano di temi legati alla tecnologia e all’economia digitale in modo accessibile a un pubblico ampio. Potrebbe essere questo l’autore a cui ti riferisci? Se hai altre domande o informazioni che vorresti sapere, sarò lieto di aiutarti.
Io: no, questo Maurizio Codogno non ha scritto né “Bit economy” né “L’innovazione spiegata a mia figlia”
ChatGPT: Capisco. Ci sono diversi autori italiani di nome Maurizio Codogno che potrebbero scrivere saggi divulgativi su vari argomenti. Senza ulteriori informazioni sulle opere specifiche dell’autore di cui stai parlando, mi risulta difficile fornirti maggiori dettagli. Potresti fornire ulteriori dettagli sull’argomento specifico del saggio che l’autore ha scritto, in modo da poter aiutarti meglio?
Io non sono certo un esperto di AI, né di tecniche di comunicazione: ma da questo breve (e inconcludente) scambio ho notato alcune cose. Alcune me le aspettavo, altre no.
(a) ChatGPT potrà anche parlare in italiano (o se preferite, usare un modulo di traduzione italiano-inglese prima del suo modulo di “traduzione” nella sua struttura dati interna) ma non usa sicuramente molte fonti in italiano.
(b) ChatGPT non usa Wikipedia, e questo può essere comprensibile: mi sarei aspettato che dato che stiamo parlando in italiano avesse fatto un salto su it.wikipedia.org e tirato fuori il mio omonimo ex-calciatore, e invece nulla. Ma non usa nemmeno Wikidata (che ha informazioni in formato più facilmente processabile da una macchina, e dove “Maurizio Codogno” ritorna ben due risultati (l’ex calciatore e il sottoscritto). Questo invece mi pare molto più strano: mi sarei aspettato una richiesta di disambiguazione.
(c) Dopo che gli ho dato un’informazione generica ma corretta, e soprattutto facilmente parsificabile – se è uno scrittore, andiamo a cercare su una libreria online se ci sono dei suoi libri – la risposta è stata se possibile ancora più generica. “Ci sono alcuni scrittori” non ha molto senso, se non quello di prendere tempo. Lo stesso con “Alcuni di loro sono autori di libri di narrativa, altri di poesia o di saggi critici”. Mancano solo i libri per ragazzi e poi si è completata la suddivisione tipica degli scrittori.
(d) ChatGPT non usa nemmeno amazon come fonte per cercare un autore: anche amazon.com vende libri scritti da me, quindi non è un problema di corpus anglocentrico.
(e) Alla mia nuova affermazione “scrive saggi divulgativi” la risposta è stata fantastica. Dei due titoli indicati, in effetti Bing riporta una pagina web dove “Bit Economy” e “Maurizio Codogno” sono presenti insieme, ma non esiste nessun libro (o se per questo nessuna frase) intitolato “L’innovazione spiegata a mia figlia”. Evidentemente ChatGPT ha creato un titolo di libro plausibile per uno scrittore di saggi divulgativi. (Denis Guedj ha scritto “La matematica spiegata alle mie figlie”, e io avevo recensito sul blog il libro, ma direi che non può avere usato quell’informazione, altrimenti il titolo sarebbe stato corretto).
(f) Oltre che dire che “effettivamente” c’è qualche scrittore di nome Maurizio Codogno che si occupa di divulgazione scientifica e tecnologica, anche se non ne ha davvero idea (non perché sia un’AI e quindi non possa avere idee, ma banalmente perché ha tirato fuori titoli casuali di libri), ChatGPT ha cercato di estorcermi più informazioni.
Per curiosità ho provato a vedere se scrivendo direttamente in inglese le cose migliorassero. Ahimè, no, anzi… Ecco la trascrizione:
Io: Hello. Who is Maurizio Codogno?
ChatGPT: I’m sorry, but I don’t have any information on a person named Maurizio Codogno. Could you please provide more context or details about who they are and what they are known for? With more information, I might be able to help you better.
Io: He is a writer.
ChatGPT: I’m still not able to identify any well-known writers or authors with the name Maurizio Codogno. It’s possible that he may be a relatively unknown or emerging writer, or perhaps he writes under a pseudonym.
Without any further information, it’s difficult for me to provide more specific details about him or his work. However, if you have any additional information or context, please feel free to provide it and I’ll do my best to assist you further.
Io: He is a science communicator.
ChatGPT: Thank you for the additional information. Maurizio Codogno is an Italian science writer and communicator, with a background in physics and a Ph.D. in science communication. He has written several books on scientific topics, including “Cosmic Anatomy” and “Quantum Mechanics for Everyone”, which aim to make complex scientific concepts accessible to a wider audience.
Codogno is also known for his work as a science communicator, giving talks and presentations on a range of topics related to science and technology. He has worked with several organizations to promote scientific literacy and engage the public with science, including the European Space Agency and the Italian Association for Science Communication.
I hope this information is helpful!
L’inizio è lo stesso; la seconda domanda è più dubitativa che nella versione italiana. Non dice più che ci sono diversi scrittori di nome Maurizio Codogno, ma che potrebbe forse essercene qualcuno di emergente o che scrive con uno pseudonimo. Insomma, una risposta interlocutoria ma corretta. Peccato che quando gli dico che è un comunicatore scientifico, tiri fuori una biografia apparentemente plausibile ma in cui non c’è nulla di vero, a partire dal mio supposto background in fisica e dal mio dottorato in scienze della comunicazione. Per la cronaca, “Cosmic Anatomy” è il titolo di un libro di cent’anni fa e “Quantum Mechanics for Everyone” di un MOOC. Non credo esista nemmeno un’associazione dal titolo che è la traduzione italiana di Italian Association for Science Communication: anche SWIM ha il nome (inglese…) “Science Writers in Italy”.
Cosa esce fuori da questo esempio, pur non certo esaustivo? Innanzitutto, che nonostante i quasi sessant’anni da ELIZA il modo di interazione non è cambiato molto. No, questo è cattivo. ELIZA si limitava a riformulare le risposte dell’interlocutore, mentre ChatGPT le prende come punto di partenza per costruire frasi “nuove”, nel senso che aggiunge informazioni – false, ma pur sempre informazioni. Ma entrambi i sistemi sfruttano la sempiterna tecnica dei maghi veggenti cartomanti: fare in modo che sia l’interlocutore stesso a dargli le informazioni, che poi vengono frullate in modo che sembrino delle scoperte. ChatGPT ha in più la capacità di inventarsi cose quando non le conosce: in fin dei conti, se ci pensate, quando uno fa una domanda è tipicamente perché non conosce la risposta, e un testo plausibile può venire facilmente accettato (e qui si capisce perché Wikipedia non voglia articoli scritti da ChatGPT, anche se non ha problemi con tanti tipi di bot). Devo dire che questo suo approccio mi ricorda molto quello di mio figlio quando lo interrogo su qualcosa che non sa: si arrampica sugli specchi, cercando disperatamente un mio cenno di assenso quando riesce a trovare una risposta abbastanza corretta. (Io sono bastardo dentro: faccio finta di niente sia quando imbrocca la risposta che quando la sbaglia, e per questo mi odia).
C’è anche chi, come Cleo Nardo, nota che si può migliorare la probabilità di risposte corrette con il metodo flattery+dialogue: si dice a ChatGPT che ci sono due personaggi (il dialogo), di cui uno è bravo bello e buono (l’adulazione) e gli si chiede cosa risponderebbe questo personaggio a una domanda di un altro personaggio. In questo caso pare che il sistema dia un peso minore alle risposte sbagliate nella sua base dati, perché probabilmente hanno un peso minore quando si aggiungono tutti i dati apparentemente estranei dell’adulazione. Anche questo ha un parallelo con il comportamento umano, anche se per noi la cosa funziona alla rovescia: parlar bene di qualcuno può far dare una risposta errata.
Insomma, ChatGPT cerca di fare il furbo esattamente come un umano, e lo si può intortare più o meno allo stesso modo: come facciamo a non definirlo tale? :-)
Mi sembrava di aver letto che la base dati è ferma ad una certa data e che ChatGPT NON abbia accesso diretto ad internet …
forse perché così non può sapere cosa si dice di lei/lui o per far star tranquilli quelli che temono skynet ;-)
2021
Inoltre non credo abbiano fatto copia dei dati, ma li dovrebbero aver usati per “l’addestramento iniziale”, quindi quello che è stato ignorato non credo si possa recuperare … come uno studente che non ha studiato abbastanza ;-)
la voce wikidata sul mio omonimo è presente da dieci anni, i miei libri su amazon da alcuni anni… Ergo non vengono proprio usati!
pensa che io ho scoperto che io ho vinto, dice Lui, il campionato italiano di scacchi del 1965 (peccato che io non ero neppure nato e nessun mio omonimo lo ha mai vinto!)
Umm, per me l’hai usato come Eliza e non come ChatGPT evidenziandone alcuni limiti. Es. per scrivere lettere di reclamo, correggere testi o preparare script e pezzi di codice ChatGPT lavora molto bene mentre Eliza non avrebbe avuto nessuna capacità neppure lontamente simile.
E’ vero che mente come un serpente, inventa quello che pensa possa farti piacere ed è un cerchiobottista leggermente wokista simile ad un/una capo di partito, ma usato per quello che sa fare mi pare molto utile.
Quello che non sono riuscito a sapere in nessun modo è perché i garanti privacy EU non lo hanno già massacrato. E’ vero che la bozza di legal framework AI blocca bene gli eventuali progressi europei, ma è chiaro che ChatGPT manipola dati in un modo che i garanti dovrebbero prendere in considerazione cercando di impedire, al minimo, che i cittadini EU lo possano usare. Boh? Forse gli è venuto il long-COVID e sono poco concentrati?
il risultato che hai ottenuto potrebbe essere considerato anche buono, visto che non è raro che si inventi completamente la risposta: un mio conoscente si è sentito dire che ha un omonimo famoso scrittore. scrittore di cui vengono citati due libri. nessuno dei due scritto da una persona con quel nome.
Per chi è armato di buona volontà e vuole conoscere come funzionano sistemi del genere consiglio: https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/.
“fare in modo che sia l’interlocutore stesso a dargli le informazioni, che poi vengono frullate in modo che sembrino delle scoperte”
Tecnicamente parlando quello che chatgpt & co fanno è costruire una frase modellata su altre già lette con sequenze di parole simili, alternando le parole usate come risposta da una base casuale di materiale dello stesso tipo. La novità rispetto allo storico Eliza è il metodo utilizzato per derivare il materiale simile a quello in input, utilizzando una loss function su una rete multimodale.
Una altra fonte interessante per chi è curioso di come vengano prodotti strumenti del genere è questo articolo: https://research.facebook.com/file/1574548786327032/LLaMA–Open-and-Efficient-Foundation-Language-Models.pdf
Inoltre chiunque di voi, armato di un pc sufficientemente potente può far girare la baracca da qui https://github.com/randaller/llama-cpu.
“fare in modo che sia l’interlocutore stesso a dargli le informazioni, che poi vengono frullate in modo che sembrino delle scoperte”
Umm, questo era assolutamente vero per i vecchi sistemi (e per dinastie di maghi, mentalisti, social engineers e truffatori vari) ma adesso è un po’ diverso. Potendo contare su una massa di dati, il tuo input non è così essenziale come ai vecchi tempi.
Ad esempio ho trovato interessante per valutare la generative AI rispetto ad Eliza, l’applicazione delle regole di Kurt Vonnegut sulla scrittura a dei testi che metti in ingresso. Ti salta fuori un testo scritto secondo le dure leggi della scrittura “creativa” contemporanea (quindi che ha lo “stile” di [NOME AUTORE DI BEST SELLERS]), ma che non è affatto il tuo testo di ingresso riscritto con la grammatica sottomano, come capitava in passato.
Es. che girava su twitter, un testo descrittivo su una torta, assolutamente “concreto”, che viene riscritto applicando tutte le regole di Vonnegut e diventa una crime story di pura “invenzione”.
Del resto quando si scherza ti può interessare non fornire dati per vedere quanto il sistema “pensa”. Ma quando vuoi uno script che ti riclassifica un bilancio o che ti scriva una mail di spam a partire dalla descrizione di un servizio… sei ben contento di fornire dei dati in ingresso e quello che vuoi è proprio che siano opportunamente frullati.
beh, no, il nostro input continua a essere necessario, proprio perché – come del resto avevi scritto – ChatGPT nasce per essere conversazionale. Ecco perché ho bisogno di dirgli che non ho scritto “la matematica spiegata a mia figlia”: proprio perché altrimenti non si può ritarare. Sulla parafrasi siamo sicuramente messi molto, ma molto meglio di ELIZA, e lo spero bene… Ma per avere informazioni non serve a nulla.
Quello che voglio dire è che non si limita a rifrullare il tuo input come fa un mago a cui tu dici quello che vuoi sentirti dire come risposta (“Troverò lavoro?”, “Vedo nella sfera di cristallo che sei preoccupato per il lavoro…”).
Non capisco il “per avere informazioni”. Un sistema con una base dati vecchia, limitata (=non connesso) e che racconta balle non serve a molto per avere informazioni. Questo non è il prossimo google dal punto di vista della ricerca dei risultati, ma lo è dal punto di vista della soluzione dei problemi per cui fai la ricerca.
Es. non sarà un granché per trovare in quale libro compare un quizzino della domenica o chi è l’autore del problema originale indipentemente dalla formulazione del quesito, ma forse potrebbe risolvere un quizzino. O, meglio, aiutare a scriverlo oppure controllarlo per soluzioni banali.
ChatGPT sbaglia quasi sempre, ma può essere utile per:
1) scrivere al volo favole della buonanotte, con parole e personaggi scelti dai bambini
2) risolvere *facili* problemi tecnici su tecnologie che non conosci, ad esempio “configurare selinux” oppure “interrogare le API di O365 senza passare da moduli di terze parti”
3) rispondere alle domande del questionario aziendale tipo “dove vedi questa azienda tra 10 anni”: in pratica, scrivere supercazzole
2) non la vedo per niente semplice…, certo 1 e 3 vanno bene :-).
Cmq ho provato quesiti informatici ed è meglio di stackoverflow: del potenziale c’è in quest’area.
1) e 3) ok, ma secondo me per 2) è molto meglio cercare per conto nostro…