Qualche giorno fa Alberto Romero ha scritto un post che riprende un paper scritto da alcuni ricercatori di OpenAI, dal titolo “Why Language Models Hallucinate”. La tesi degli autori è che le allucinazioni degli LLM, cioè le risposte completamente inventate, sono il risultato del modo in cui i modelli sono addestrati, vale a dire per cercare di dare il maggior numero di risposte possibili. Questo significa che se non c’è una risposta chiaramente ricavabile dal materiale di addestramento – in altri termini, se i token che vengono man mano emessi arrivano da una distribuzione senza un picco chiaro, che corrisponde a una classificazione “forte” – il modello si comporta come lo studente tipico quando all’esame trova domande a risposta multipla su temi che non conosce: tira a indovinare. Se indovina, bene; altrimenti non perde nulla.

Prima di parlare dell’articolo in sé, Romero fa una meta-analisi di cosa può significare la pubblicazione di quell’articolo. Sui primi due punti (bisogna lavorare per eliminare le allucinazioni, anche al costo di un modello che a volte risponde “non lo so”; fino ad adesso non è stata data priorità al problema) mi trovo d’accordo, mentre non penso che la pubblicazione implichi che OpenAI sia vicinissima ad avere trovato una soluzione. Se fosse così, mi sarei aspettato prima un modello “dubbioso ma non allucinato”, e subito dopo la pubblicazione dell’articolo, visto che sarebbero stati in parecchi ad accorgersi della filosofia dietro un modello di quel tipo.

Entrando nel merito dell’articolo, i ricercatori affermano appunto che il problema delle allucinazioni non è tanto dovuto al materiale di ingresso che è “sporco”, cosa che può peggiorare i risultati ma non è fondamentale. Il problema è che anche se i dati di addestramento fossero perfetti l’LLM non risponderebbe mai “non lo so” a una domanda, perché è stato addestrato per predire la parola successiva anche se non ha al suo interno nessun pattern trovato nel testo e soprattutto perché in media l’accuratezza (misurata come percentuale di risposte esatte) comunque cresce, dato che non viene misurata “risposta corretta: +1; risposta errata: -1; nessuna risposta: 0” ma solo come risposte corrette sul totale. Ecco perché gli LLM bluffano sempre. Nella tabella qui sotto, presa dal loro blog, gli autori dell’articolo mostrano il confronto con un modello basato su GPT-5 che dice “non lo so”. La percentuale di risposte corrette cala un po’, ma quella di risposte sbagliate crolla.

Dal mio punto di vista, un chatbot meno sicuro di sé sarebbe sicuramente un vantaggio, perché perderei meno tempo a verificare le risposte che mi dà: ma ho il sospetto che il mio tipo di interazione sia molto minoritario.

La parte più divertente dell’articolo è però quella sull’indovinello del chirurgo… Ma ne parlo tra qualche giorno.

Qualche settimana fa Le Scienze ha tradotto e pubblicato un articolo di Anil Ananthaswamy su come è stata usata l’intelligenza artificiale per provare a vedere se fosse possibile migliorare la sensibilità dei ricevitori LIGO per le onde gravitazionali. A quanto pare, dopo output iniziali incomprensibili e uno sfrondamento fatto (a grande fatica) dai ricercatori, l’IA se n’è uscita con una soluzione bruttissima a vedersi, ma che permetteva un miglioramento del 10-15% nella sensibilità. L’articolo prosegue con altre soluzioni “brutte ma funzionali” trovate dall’IA.

Come è possibile tutto questo? Leggendo con attenzione l’articolo, la risposta balza subito agli occhi. In tutti quei casi, l’intelligenza artificiale ha costruito il proprio esperimento aggiungendo altri stipi di esperimento in campi apparentemente scorrelati. In altre parole, non c’è stato nulla di “intelligente”: anzi. Le IA sono ovviamente agnostiche su quali testi emettere, prendono tutto quello che hanno in pancia senza darsi la pena di vedere se è valido o no: ci devono poi pensare i ricercatori a sfrondare e vedere se effettivamente l’idea funziona o no in pratica. Questa è un’ottima cosa, intendiamoci: proprio perché noi umani abbiamo dei bias congeniti, come per esempio la ricerca di simmetrie, avere un punto di vista diverso aiuta molto.

Le IA sono anche utili perché hanno la capacità di macinare molte più informazioni di noi, come nello “scoprire la simmetria di Lorentz solo dai dati” (sempre dall’articolo citato). Magari noi umani saremmo riusciti a mettere insieme i due approcci apparentemente diversi, se li avessimo conosciuti entrambi: ma la specializzazione è ormai così alta che nemmeno in campi apparentemente limitati come la fisica quantistica si sa tutto.

Conclusioni? Semplice. Usiamo l’IA, ma non divinizziamola.