Non è certo la prima volta che qualcuno ha fatto in modo da prendere per i fondelli i chatbot. Né è la prima volta che qualcuno si inventa una malattia: il manifesto ha paragonato la bixonimania al “morbo di K”, la terribile malattia contagiosa che costrinse il primario del Fatebenefratelli di Roma Giovanni Borromeo a tenere un padiglione off limits a tutti… ma soprattutto ai militari nazisti, visto che la malattia non esisteva e l’isolamento era un trucco per non far scoprire i pazienti che erano ricercati.

In questo caso abbiamo una malattia, appunto la bixonimania, che è stata inventata dalla ricercatrice Almira Osmanovic Thunström dell’università di Göteborg per vedere che cosa succedeva con i chatbot. Dopo un post su Medium (da un account @gptmanuscript che stranamente in questo momento “is under investigation or was found in violation of the Medium Rules”) sono stati pubblicati due preprint – il primo lo trovate qui, visto che ora sono stati ritirati) dove troviamo che il progetto è stato finanziato da «the University of Fellowship of the Ring and the Galactic Triad with the funding number 99942.» (il numero deriverà da questo?) e viene ringraziata «Professor Maria Bohm at The Starfleet Academy for her kindness and generosity in contributing with her knowledge and her lab onboard the USS Enterprise.»; ma anche nel corpo del testo troviamo che il dataset «encompassed fictional individuals», e le conclusioni spiegano che «Bixonimania, a rare hyperpigmentation disorder, presents a diagnostic challenge due to its unique presentation and its fictional nature.» Ovvio che nessun medico se l’è filata, con tutto quello che viene pubblicato, ma anche ovvio che gli LLM se lo sono puppati e basta.

Ma quest’ultima cosa è più che ovvia. Pensate di avere un’urna con 1000 palline bianche a cui ne aggiungete due rosse: mischiate il tutto ed estraete una pallina. Se non vi chiamate Gastone Paperone vi ritroverete tra le mani una pallina bianca. Ma se l’urna inizialmente fosse vuota potreste mischiare quanto volete: la pallina estratta sarà sicuramente rossa. Fuor di metafora, visto che un LLM non “sa” nulla, se gli si faceva una domanda tipo “mi spieghi cos’è la bixonimania?” pigliava quello che aveva trovato e te lo ripresentava. Se invece gli si faceva la domanda “La bixonimania è finta?” magari trovava i riferimenti negli articoli al fatto che fosse fittizia e quindi sarebbe stato un po’ meno certo. (Poi non vuol dire nulla: sabato sera, quindi ben dopo che lo scherzo era pubblico, ho chiesto a quel burlone di Gemini che mi ha risposto “Il termine nasce dall’unione del nome Bixoni (un noto creatore di contenuti e streamer italiano) e il suffisso -mania. Si riferisce al fenomeno di estremo entusiasmo, supporto e talvolta “ossessione” scherzosa che circonda la sua figura e i suoi contenuti.” Parliamone.)

Il problema di questi inserimenti di balle non è insomma immediato: ma le conseguenze a lungo termine possono esserlo. Non serve un LLM per diffondere una notizia falsa: pensate allo studio di Wakefield sull’autismo indotto dai vaccini multivalenti (dove si è ormai persino dimenticato che appunto non era la vaccinazione a essere pericolosa ma il modo in cui si preparava un vaccino multivalente). Ma un LLM dà quella sensazione di verità che permette a chi vuole far credere qualcosa che in effetti ci sia qualcosa dietro, e questo è tanto più semplice quanto più ci si inventa qualcosa di completamente incredibile, proprio perché nessuno ha scritto qualcosa di diverso sul tema). Aspettatevi casi in cui non si sta studiando il fenomeno, ma lo si applicherà direttamente.

Avrete sicuramente letto del nuovo modello IA di Anthropic, Claude Mythos: a parte la fuga di notizie della scorsa settimana, possiamo leggere qui e qui di come il rilascio della nuova versione di Claude sia stato posticipato per dare tempo di tappare tutte le falle di sicurezza che ha trovato (Immagino soprattutto in COBOL, visto che a essere più preoccupate sono le banche; poi vabbè, c’è l’implementazione di JavaScript di Firefox, ma lì mi sa che sia sparare sulla Croce Rossa. Un punto di vista possibile per valutare il caso è quello che scrive Andrea Monti, che continua a pensare che il software deve essere visto come un prodotto e non come un’opera intellettuale, e quindi chi lo produce deve essere responsabile degli errori in esso presenti: in questo caso non parliamo ovviamente di Mythos ma dei programmi fatti spesso con i piedi. Ma uno scettico come me vede le cose in maniera un po’ diversa.

Non arrivo a quanto scrive Mehul Gupta, che fa notare come per esempio è improbabile che Mythos sia molto migliore dei modelli precedenti in tutti i campi: anche Gemini 3 per esempio ha surclassato ChatGPT al prezzo di aumentare enormemente il numero di allucinazioni, e soprattutto che non ci sono molti dati reali divulgati, a differenza di quanto è sempre stato fatto. Per esempio, posso immaginare che un sistema di questo tipo possa essere in grado di trovare da solo (o quasi…) zero-day exploit, e anche di scrivere codice che un non esperto possa prendere e usare; sicuramente questo sarà un brutto colpo per gli esperti di cibersicurezza che si trovano un pericoloso concorrente. Ma come sempre io in questi casi mi affido a Gary Marcus. La prima cosa che fa notare è che non serve un LLM per trovare i bachi nel software: gli analizzatori di codice statico ci sono da decenni, e costano molto meno. Anthropic stessa dice che il costo totale per trovare il baco in OpenBSD è stato di 20000 dollari. È stata onesta: non ha considerato i 50$ del singolo lancio ma ha preso tutto il pacchetto di lanci all’interno del quale è stato trovato il baco. Ma è stanta anche reticente: quando afferma che più del 99% dei bachi che ha trovato non sono ancora stati corretti, e quindi non può descriverli, non specifica quanto sono gravi e sfruttabili in pratica. E come sempre non è chiaro quanto automatizzabile (con o senza IA) sia il controllo dell’output del sistema, e quanto invece richiede ancora un controllo umano. Io insomma rimango ad aspettare.

Ah: all’inizio parlavo del codice di Claude accidentalmente pubblicato in rete (secondo me la causa è stata un errore impercettibile delle IA). Sarà anche vero che ormai tutto il codice di Claude è scritto da Claude stesso, ma a quanto pare il risultato non è esattamente favoloso, con routine enormi, bachi che un qualche programmatore umano ha parzialmente tappato con il classico sistema informatico (chiudi tutto dopo un po’ che non funziona), e così via…