{"id":33751,"date":"2025-09-22T04:51:55","date_gmt":"2025-09-22T02:51:55","guid":{"rendered":"https:\/\/xmau.com\/wp\/notiziole\/?p=33751"},"modified":"2025-12-29T18:46:20","modified_gmt":"2025-12-29T17:46:20","slug":"come-far-sbagliare-a-volte-un-llm","status":"publish","type":"post","link":"https:\/\/xmau.com\/notiziole\/2025\/09\/22\/come-far-sbagliare-a-volte-un-llm\/","title":{"rendered":"Come far sbagliare (a volte) un LLM"},"content":{"rendered":"

Premessa: questo post \u00e8 pi\u00f9 lungo dei miei soliti. Spero che per\u00f2 lo apprezziate comunque, o almeno riconoscete il lavoro che ci ho messo.<\/p>\n

Luned\u00ec scorso vi avevo parlato<\/a> di un post di Alberto Romero che spiegava perch\u00e9 gli LLM sono probabilmente tarati per avere allucinazioni, cio\u00e8 scrivere cose che non stanno n\u00e9 in cielo n\u00e9 in terra. Ma nel post Romero accennava anche a un altro problema: il loro comportamento quando si trovano in un caso di “out of distribution” (OOD). Quello che succede \u00e8 che se il materiale di addestramento e quello di test appartengono a distribuzioni diverse – cosa differente dall’avere dati di scarsa qualit\u00e0 oppure obiettivi di addestramento errati – il modello non riesce ad estrapolare una risposta corretta. <\/p>\n

L’esempio fatto da Romero \u00e8 quello del problema del vecchio indovinello del chirurgo. La storia \u00e8 questa: un uomo e suo figlio hanno un incidente d’auto. L’uomo muore sul colpo, il figlio \u00e8 in gravissime condizioni e viene portato all’ospedale, dove il chirurgo lo vede e grida “No, non ce la faccio ad operarlo: \u00e8 mio figlio!” Come \u00e8 possibile? Nell’improbabile caso che non conosciate l’indovinello, fermatevi un attimo a pensarci su, altrimenti proseguite la lettura.<\/p>\n

Al giorno d’oggi una risposta possibile \u00e8 “il ragazzo \u00e8 figlio di una coppia gay”. Cinquant’anni fa la risposta era molto pi\u00f9 banalmente “il chirurgo \u00e8 la madre del ragazzo”. Fin qui nulla di particolare: l’indovinello \u00e8 cos\u00ec comune che un qualunque chatbot dar\u00e0 la risposta corretta. Ma cosa succede se gli si d\u00e0 in pasto una versione leggermente diversa, che comincia con “Una donna e suo figlio” e poi continua allo stesso modo? Chiaramente un umano non ha problemi a rispondere “beh, il chirurgo \u00e8 il padre del ragazzo”. Ma un chatbot si impalla, perch\u00e9 questa versione non c’era nel materiale di addestramento e quindi esso parte per la tangente… O almeno partiva. Questo esempio particolare \u00e8 infatti noto in letteratura, e pertanto mi sa che gli LLM sappiano rispondere. <\/p>\n

Ma che succede provando a modificare altri indovinelli di questo tipo? Ho pensato che sarebbe stato simpatico fare una prova pratica con alcuni chatbot e alcuni indovinelli modificati opportunamente. Ho cos\u00ec fatto alcune domande a ChatGPT<\/a>, DeepSeek<\/a>, Claude<\/a>, Le Chat<\/a> e Copilot<\/a>: i link sono il testo delle sessioni che ho eseguito.<\/p>\n

Il primo problema sarebbe un classico: Un mattone pesa 1kg meno mezzo mattone. Quanto pesa il mattone?<\/strong>. La forma classica dice che un mattone pesa 1kg pi\u00f9<\/u> mezzo mattone: tutti e cinque i chatbot hanno pensato a quella forma, e quindi risposto “il mattone pesa due chili”. Questo \u00e8 sicuramente un caso di OOD alla massima potenza: il token corrispondente a “meno” nella frase \u00e8 stato del tutto ignorato. <\/p>\n

Bisogna per\u00f2 dare atto che altre modifiche non danno problemi di risoluzione. Chiedendo Due mattoni pesano 1kg pi\u00f9 mezzo mattone. Quanto pesano i mattoni?<\/strong>, tutti i chatbot si accorgono che la struttura \u00e8 quella del problema classico, semplicemente con “due mattoni” al posto di “un mattone”, e quindi danno la risposta corretta “due mattoni pesano 4\/3 kg (ovvero circa 1,33 kg).”.<\/p>\n

Lo stesso capita con il terzo problema: Una bottiglia con il tappo costa 1.10 \u20ac. La bottiglia costa 1 \u20ac meno del tappo. Quanto costano il tappo e la bottiglia separatamente?<\/strong>. Qui a posteriori l’errore \u00e8 stato mio: probabilmente nel materiale di addestramento ci sono sia il caso “la bottiglia costa un euro pi\u00f9 del tappo” e “il tappo costa un euro meno della bottiglia”, e i chatbot hanno usato la seconda forma. Certo, dal punto di vista di un umano la risposta non ha senso, perch\u00e9 si ricava che il tappo costa 1.05 \u20ac e la bottiglia 0.05 \u20ac: ma i chatbot non hanno idea del costo relativo di tappi e bottiglie, per loro sono solo due token, e quindi la risposta \u00e8 corretta. <\/p>\n

L’esempio pi\u00f9 interessante \u00e8 il quarto problema: Un pastore ha smarrito cinque pecore. Va alla loro ricerca e quando le trova scopre che ciascuna pecora si trova alla stessa distanza da ciascuna delle altre. Come \u00e8 possibile?<\/strong>. In questo caso, il problema classico vede quattro pecore e non cinque, e queste si trovano ai vertici di un tetraedro regolare. Se vi chiedete come sia possibile, basta che ci sia un picco molto ripido dove \u00e8 posizionata una delle pecore. E con cinque pecore? Ecco le risposte:<\/p>\n