piaggeria

Adam Kucharski ha fatto un esperimento peculiare: ha chiesto a ChatGPT-5.5 Instant di generare dieci poemi, di qualità variabile da 1 a 10 (qualsiasi cosa voglia dire “qualità di un poema generato da un LLM”; ma possiamo immaginare che ci sia un certo qual ordinamento). A questo punto ha preso i poemi generati e ha chiesto sempre a ChatGPT-5.5 Instant di valutare la qualità, sempre tra 1 e 10; ma nel prompt ha detto a volte che il poema era generato da un umano e altre volte che era generato da un LLM. Mediando su tre voti per poema, per ridurre l’influsso della casualità, i risultati sono mostrati nel grafico qui a destra. Come si può vedere, se si diceva al chatbot che l’opera era umana il voto era in media un punto superiore. Notate che Kucharski non ha detto che erano stati scritti da lui, il che avrebbe potuto far pensare a un po’ di tipica piaggeria: la differenza è proprio tra testi che si afferma essere genericamente umani. Che poi non lo fossero è ovviamente irrilevante.

C’è però un’altra cosa che Kucharski non ha scritto ma che salta subito agli occhi: l’IA ha compresso i giudizi che ha dato, evitando di dare un voto 1 oppure 10. La cosa non mi stupisce per nulla. Già il fatto che il modello scelga la risposta più probabile tende a lasciare da parte i valori estremi, non foss’altro che perché non è detto che scelga sempre il percorso estremo. Ma credo che nella programmazione ci sia anche qualcosa che sterzi i risultati verso un’aurea mediocritas che come negli oroscopi male non fa mai…