Riprendendo il mio post di sabato, ho scoperto che non sono ovviamente l’unico a usare direttamente le IA (e non gli strumenti appositi) per verificare se un testo potrebbe essere stato scritto da un’IA. Adam Kucharski sul suo substack ha fatto un test, senza pretese di completezza. Ha fatto generare a ChatGPT dieci brevi testi e chiesto a Claude la probabilità che fossero appunto generati da un’IA. Per sicurezza ed evitare un problema statistico con una sessione particolare, l’ha chiesto cinque volte e poi ha preso il valore mediano. In tutti i casi la percentuale indicata era dell’85% o del 92%. (Interessante questa segmentazione, ma visti i miei esperimenti posso immaginare che i risultati effettivi fossero “80%-90%” e “90%-95%”.) Con dieci racconti suoi la probabilità variava tra il 12% e il 22%; infine, con i testi suoi dati in pasto a ChatGPT per “migliorarli” c’è stato un risultato diviso. In cinque casi la probabilità indicata da Claude non era cambiata, negli altri cinque era passata tra l’82% e il 92%.

Fin qui il suo esperimento. Casualmente io in una delle mie conversazioni maieutiche con Claude venerdì avevo chiesto qualcosa di simile:

Io non ho mai fatto corsi di scrittura, ma ho letto tanti libri e quindi assorbito le tecniche. Tu e gli altri LLM avete letto centinaia di migliaia di libri: come mai non date risposte con uno stile “umano”? L’attention non può gestire testi troppo lunghi e quindi non imparate quelle strutture? Ci sono scelte a priori per strutturare il vostro output?

La risposta di Claude è stata, come spesso capita, su più punti. Nega il problema sull’attention, avendo ormai un contesto molto lungo; scrive che il fatto che un LLM sia comunque costruito per predire il token successivo non permette di vedere la struttura complessiva di un testo, ma soprattutto il reinforcement learning da feedback umano premia la risposta alla domanda isolata, quindi le strutture che tutti noi abbiamo imparato ad associare a un chatbot come gli elenchi, i paragrafi brevi e le transizioni esplicite. Insomma, il mio stile personale me lo sono creato leggendo tanto e non dovendo dire a nessuno “questo capoverso è scritto bene, quest’altro no”. Il risultato potrebbe cambiare con un addestramento di tipo diverso? Claude non lo sa. (Sì, le mie preferenze rafforzano la possibilità che possa dire “non lo so”, altrimenti che maieutica sarebbe?)

Più che altro quello che sta succedendo è che la scrittura umana si sta standardizzando sempre di più, e questo non è affatto bello.