Una volta era facile capire quando un testo era generato automaticamente: la sua struttura aveva un non so che di artefatto. Ora a quanto pare gli LLM sono arrivati a fregarci sempre meglio. MomScience riporta il risultato di due studi, nemmeno troppo recenti (si parla del 2023) dove il tasso di errore nel definire se un testo era umano o artificiale era intorno al 50%: essenzialmente come tirare a indovinare. Peggio ancora, nel caso di editor di riviste tecniche il tasso di riconoscimento corretto è stato molto inferiore al 50%: in pratica un reverse benchmark.
Come mai? Innanzitutto, le IA ormai non fanno più errori grammaticali e refusi, a differenza di chi scrive spesso di fretta e non rilegge il suo testo (quorum ego). In pratica, al momento è meglio fidarsi di un testo più ruspante. Credo però che ci sia anche un altro punto: il fare una verifica superficiale, senza entrare nel merito del significato del testo. Un altro studio, stavolta del 2026, elenca gli indizi cercati dai professori quando controllano gli elaborati ricevuti. I primi quattro sono la presenza di allucinazioni nei fatti presentati; allucinazioni nelle fonti citate; mancanza (appunto!) di errori grammaticali e ripetizioni del testo. Peccato che se il compito è quello di riassumere un testo è molto improbabile che le IA facciano di questi “errori”, o più correttamente lascino tracce visibili!
Quello a cui forse dovremo rassegnarci è che non è più importante sapere chi (o cosa…) ha scritto un testo, ma dobbiamo concentrarci sul suo contenuto. Ho come il sospetto che per molta gente ciò sarà ancora più difficile :-)
La qualità delle risposte è indubbiamente migliorata.
Tuttavia, con la consapevolezza sull’uso della IA che come molti utilizzo in modo estensivo, riesco ad intuire un suo uso in altri (non sempre, ma spesso).
Uno dei talloni d’Achille maggiori attualmente è in quello che non c’è in una certa risposta. Per loro funzionamento intrinseco, una IA ripete il discorso di moda nell’ambito cercato, in altre parole si appiattiscono specie sui soggetti molto dibattuti. Questa mancanza di originalità è (per chi bazzica nel settore target) piuttosto evidente, ed un sintomo caratteristico del suo uso.
Un altro indicatore è la qualità della prosa: posso dire che in generale negli autori italici almeno e per quanto riguarda non l’accademia ma il settore privato, la qualità degli elaborati era mediamente bassa: terminologia oscura, frasi lunghe e complesse, burocratese. Con la IA tutto questo sparisce, e da lì ti rendi conto del suo uso. Anche questo non è un male in sé, ma semplicemente livella l’output -> non sarà più un fattore competitivo (chissà se la PA la utilizzerà…).
Mi è perfettamente chiaro che in settori pesantemente normati come le pubblicazioni scientifiche la differenza sparisce e si faccia fatica: questo, lo dico sinceramente, è tutta colpa della comunità stessa, non della IA.
Certamente come dici tu, bisogna impegnarsi di più nella review: ma questo secondo me è solo un bene e non un male.