Riprendendo il mio post di sabato, ho scoperto che non sono ovviamente l’unico a usare direttamente le IA (e non gli strumenti appositi) per verificare se un testo potrebbe essere stato scritto da un’IA. Adam Kucharski sul suo substack ha fatto un test, senza pretese di completezza. Ha fatto generare a ChatGPT dieci brevi testi e chiesto a Claude la probabilità che fossero appunto generati da un’IA. Per sicurezza ed evitare un problema statistico con una sessione particolare, l’ha chiesto cinque volte e poi ha preso il valore mediano. In tutti i casi la percentuale indicata era dell’85% o del 92%. (Interessante questa segmentazione, ma visti i miei esperimenti posso immaginare che i risultati effettivi fossero “80%-90%” e “90%-95%”.) Con dieci racconti suoi la probabilità variava tra il 12% e il 22%; infine, con i testi suoi dati in pasto a ChatGPT per “migliorarli” c’è stato un risultato diviso. In cinque casi la probabilità indicata da Claude non era cambiata, negli altri cinque era passata tra l’82% e il 92%.

Fin qui il suo esperimento. Casualmente io in una delle mie conversazioni maieutiche con Claude venerdì avevo chiesto qualcosa di simile:

Io non ho mai fatto corsi di scrittura, ma ho letto tanti libri e quindi assorbito le tecniche. Tu e gli altri LLM avete letto centinaia di migliaia di libri: come mai non date risposte con uno stile “umano”? L’attention non può gestire testi troppo lunghi e quindi non imparate quelle strutture? Ci sono scelte a priori per strutturare il vostro output?

La risposta di Claude è stata, come spesso capita, su più punti. Nega il problema sull’attention, avendo ormai un contesto molto lungo; scrive che il fatto che un LLM sia comunque costruito per predire il token successivo non permette di vedere la struttura complessiva di un testo, ma soprattutto il reinforcement learning da feedback umano premia la risposta alla domanda isolata, quindi le strutture che tutti noi abbiamo imparato ad associare a un chatbot come gli elenchi, i paragrafi brevi e le transizioni esplicite. Insomma, il mio stile personale me lo sono creato leggendo tanto e non dovendo dire a nessuno “questo capoverso è scritto bene, quest’altro no”. Il risultato potrebbe cambiare con un addestramento di tipo diverso? Claude non lo sa. (Sì, le mie preferenze rafforzano la possibilità che possa dire “non lo so”, altrimenti che maieutica sarebbe?)

Più che altro quello che sta succedendo è che la scrittura umana si sta standardizzando sempre di più, e questo non è affatto bello.

Come penso sappiate, l’intelligenza artificiale ha superato da molto tempo gli umani nel gioco del go. AlphaGo Zero (o se preferite il successore più generale AlphaZero) sono dal 2018 i campioni del mondo virtuali. Pare però che sia successo qualcosa di inaspettato. Come Mickey Friedman riporta in questo tweet, il livello di gioco umano era rimasto stagnante negli ultimi decenni ed è improvvisamente cresciuto da quando i programmi per giocare a go si sono evoluti. Il tutto è stato raccontato in questo preprint: le nuove strategie non seguono né le vecchie tecniche umane né le nuove algoritmiche ma sono sostanzialmente diverse. Questo significa che l’IA in questo caso ha spinto gli umani a cercare nuove vie, anziché ad omologarsi come si poteva pensare.
Diciamo le cose come stanno: immagino che il 99% della gente andrà verso l’omologazione, perché è la cosa più semplice. Però il risultato non è scontato a priori. Sta a noi capire se vogliamo avere un’élite di più-che-umani oppure trovare un modo per abbassare quel 99%; non arriveremo mai a zero, anche perché la percentuale era già molto alta prima dell’arrivo dell’IA, ma potremmo comunque limitare in parte i danni.

Aggiornamento: (13:00) aggiungo che comunque le IA migliori hanno tipo 1500 punti ELO in più del migliore umano.