{"id":36425,"date":"2026-03-23T04:51:07","date_gmt":"2026-03-23T03:51:07","guid":{"rendered":"https:\/\/xmau.com\/wp\/notiziole\/?p=36425"},"modified":"2026-03-22T23:27:40","modified_gmt":"2026-03-22T22:27:40","slug":"llm-sono-solo-canzonette-ehm-predittori-di-testo","status":"publish","type":"post","link":"https:\/\/xmau.com\/notiziole\/2026\/03\/23\/llm-sono-solo-canzonette-ehm-predittori-di-testo\/","title":{"rendered":"LLM: sono solo canzonette… ehm, predittori di testo?"},"content":{"rendered":"

Una delle critiche maggiori agli LLM, critica con la quale in un certo senso concordo, \u00e8 che essi siano solamente dei “pappagalli stocastici”: in parole povere, sanno solo trovare la successione di parole pi\u00f9 probabile dato un prompt. Bene: dobbiamo per\u00f2 intenderci cosa vuol dire “in un certo senso”. <\/p>\n

Un mese fa, Kelsey Piper su The Argument<\/a> fa un pippone contro un giornalista dell’Atlantic che nel giugno scorso (un’era geologica fa…) aveva scritto qualcosa del genere. Lui ha mostrato come questo poteva valere ai tempi di ChatGPT-2 (che penso nessuno abbia mai usato in pratica, i veri risultati si sono visti a partire da ChatGPT-3) e che ormai la parte di ricerca stocastica \u00e8 solo l’inizio del percorso per arrivare alla risposta che ci viene data. Su questo direi che non c’\u00e8 nulla da obiettare. Ho chiesto a Gemini di parlare dei libri dietro una mia foto, e ha terminato cos\u00ec: \u00abIn sintesi: Questa non \u00e8 una libreria “per bellezza”. \u00c8 una collezione di strumenti di lavoro mentale. Chi possiede questi libri ama il problem solving, la precisione del linguaggio logico e probabilmente passa il tempo libero a risolvere enigmi che farebbero venire il mal di testa a chiunque altro!\u00bb Frasi come queste, a parte la solita implicita piaggeria, mostrano come ci deve essere da qualche parte una libreria (nel senso informatico) di testi a partire dai quali assemblare la risposta. Anche senza andare cos\u00ec in l\u00e0, \u00e8 facile vedere come a domande specifiche la risposta appare presa da una fonte esterna. Per dire, ho chiesto (alle 19:50 di ieri) qual \u00e8 stata l’affluenza alle urne alle 17 per il referendum: mi ha replicato che l’affluenza si misura alle 12 e alle 19 e mi ha dato il risultato delle 19: 38,9%. Ho controllato sul Corriere, diceva “Oltre il 38%”. Sono andato su Eligendo<\/a>: scriveva 38,90%. \u00c8 improbabile che abbia tirato a indovinare: molto pi\u00f9 facile che abbia cercato sul sito. (Gli agenti IA servono proprio a questo, no?) <\/p>\n

\"il<\/a>
I vari livelli di ottimizzazione secondo Scott Alexander (dal suo substack)<\/figcaption><\/figure> Ma questa \u00e8 la fine della storia? Per Scott Alexander il problema \u00e8 mal posto: noi non possiamo considerare gli LLM come pappagalli stocastici, a meno che non consideriamo gli umani come esseri che predicono cosa fare a partire dai dati sensoriali che ricevono. La figura a sinistra mostra i vari livelli di ottimizzazione degli umani e delle IA. Quello pi\u00f9 esterno per noi \u00e8 l’evoluzione, che ha selezionato il nostro genoma per sopravvivenza, fare sesso, riprodursi e far crescere la prole; se consideriamo le IA, l’equivalente sono le aziende che cercano di massimizzare i loro profitti. Ma non si pu\u00f2 infilare tutto nel genoma, proprio come non si pu\u00f2 pensare a un sistema esterno con una lookup table enorme, e quindi c’\u00e8 un livello successivo, che possiamo definire quello degli algoritmi che richiedono poche istruzioni per ottenere un output complesso. Per gli umani questo livello \u00e8 appunto il predittore dai dati sensoriali, che \u00e8 il livello equivalente al “next token” delle IA. Pi\u00f9 precisamente la teoria afferma che il cervello continua a generare e aggiornare un “modello mentale” dell’ambiente, usato per predire quali segnali arrivano dagli organi sensoriali per poi compararlo con i segnali effettivamente arrivati. Il tutto viene naturalmente implementato a livello basso per mezzo rispettivamente di neuroni e neurotrasmettitori da un lato, e chip ed elettricit\u00e0 dall’altro. <\/p>\n

Se questi punti non danno almeno a me molti problemi, quelli in mezzo mi sembrano pi\u00f9 campati per aria. Paradossalmente riesco pi\u00f9 o meno a dare un senso alla “rotazione di variet\u00e0 esadimensionali a elica” delle IA, nel senso che \u00e8 una trasformazione da uno spazio a molte dimensioni a uno a “sole” sei dimensioni, seguito da una rotazione della matrice corrispondente, cio\u00e8 alla sua moltiplicazione per un’altra matrice. Ma le “variet\u00e0 ad attrattore toroidale ad alte dimensioni” che dovrebbero servire alle cellule endocrinali per seguire le posizioni in uno spazio bidimensionale mi sembrano pi\u00f9 che altro una supercazzola. E anche l’esempio del monaco che fa voto di castit\u00e0, usando cos\u00ec il cervello evoluto per fare sesso e riprodursi in un modo volontariamente lontano dalla sua ottimizzazione, mi pare debole. Certo, possiamo chiedere a un chatbot di inventarci del testo volutamente implausibile semanticamente ma sintatticamente corretto, ma siamo stati noi a chiederglielo. Insomma, \u00e8 vero che forse \u00e8 pi\u00f9 corretto vedere un LLM a un livello diverso da quello del semplice predittore di token, ma questo non ci porta ancora da nessuna parte.
\nD’altra parte il modello del mondo di un LLM \u00e8 sostanzialmente limitato, usando un numero di token molto minore di quelli che abbiamo noi e soprattutto non avendo un modo per stabilire quali sono pi\u00f9 importanti e quali possono essere scartati. L’attention fa un buon lavoro di compattazione, ma per sua stessa definizione tratta tutto allo stesso modo, e quindi non ci sono (successioni di) token pi\u00f9 o meno importanti da gestire in modo diverso. Tutto questo si rileva quando alla domanda che ho fatto a Gemini “Che libri ha scritto Maurizio Codogno” la risposta terminasse con \u00abOltre alla scrittura, Codogno \u00e8 celebre per aver curato l’edizione italiana di opere fondamentali, tra cui la riedizione di G\u00f6del, Escher, Bach: un’eterna ghirlanda brillante<\/strong> di Douglas Hofstadter.\u00bb (magari…) Qui \u00e8 un po’ difficile negare che ci sia stata una predizione di token che \u00e8 andata via per la tangente. Posso al limite capire che mi abbia citato come autore (anzich\u00e9 traduttore) di Anelli nell’io<\/i>, ma con GEB non ho mai avuto nulla a che fare…<\/p>\n

PS: Ho chiesto a Gemini \u00abScrivi una storia di cento parole sintatticamente corretta ma semanticamente implausibile. La storia deve cominciare con “C’era una volta…” e finire con “… e vissero tutti felici e contenti”.\u00bb Risultato e relativa immagine:<\/p>\n

C’era una volta un triangolo isoscele che soffriva di una cronica carenza di vitamina viola. Decise quindi di scalare una cascata di silenzio solido, indossando soltanto un paio di scarpe fatte di mercoled\u00ec pomeriggio. Giunto in cima, incontr\u00f2 un\u2019idea astratta intenta a cucire nuvole con un ago di logica inversa. Insieme, mangiarono una sinfonia croccante mentre il tempo scorreva verso l\u2019alto, trasformando la gravit\u00e0 in un profumo di fragola quadrata. Il sole decise allora di diventare un prefisso telefonico, sciogliendosi dolcemente in un bicchiere di algoritmi gentili, e vissero tutti felici e contenti.<\/p><\/blockquote>\n

\"il<\/a><\/p>\n

Anche se avevo fatto partire una nuova chat, il testo mi pare piuttosto legato a quello che gli chiedo di solito, anche se potrebbe essere una mia impressione. Pi\u00f9 che altro vedo molte associazioni improbabili nome-aggettivo, anche se ho apprezzato lo zeugma implicito “un paio di scarpe fatte di mercoled\u00ec pomeriggio”. Non so, a me paiono ancora next-token predictions, anche se con vincoli diversi. A voi?<\/p>\n","protected":false},"excerpt":{"rendered":"

A basso livello s\u00ec, Ma bastano i livelli superiori per dare un’altra visione dell’IA?<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"activitypub_content_warning":"","activitypub_content_visibility":"","activitypub_max_image_attachments":3,"activitypub_interaction_policy_quote":"anyone","activitypub_status":"federated","footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[1023,30],"tags":[],"class_list":["post-36425","post","type-post","status-publish","format-standard","hentry","category-ia-2026","category-ia"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/phh2yV-9tv","jetpack-related-posts":[{"id":34504,"url":"https:\/\/xmau.com\/notiziole\/2025\/11\/24\/gli-llm-hanno-problemi-con-la-parola-no\/","url_meta":{"origin":36425,"position":0},"title":"Gli LLM hanno problemi con la parola “no”","author":".mau.","date":"2025-11-24","format":false,"excerpt":"E non solo perch\u00e9 fanno fatica a darti una risposta negativa.","rel":"","context":"In "IA e informatica"","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":33456,"url":"https:\/\/xmau.com\/notiziole\/2025\/08\/21\/abbiamo-raggiunto-il-top-degli-llm-attuali\/","url_meta":{"origin":36425,"position":1},"title":"Abbiamo raggiunto il top degli LLM attuali?","author":".mau.","date":"2025-08-21","format":false,"excerpt":"ChatGPT-5 non \u00e8 stato quel salto quantico che ci eravamo abituati ad aspettare","rel":"","context":"In "IA e informatica"","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":31328,"url":"https:\/\/xmau.com\/notiziole\/2025\/02\/06\/open-euro-llm\/","url_meta":{"origin":36425,"position":2},"title":"Open Euro LLM","author":".mau.","date":"2025-02-06","format":false,"excerpt":"Progetto europeo per costruire un LLM multilingua che \"conservi la diversit\u00e0 culturale e linguistica\". Riusciranno mai a farlo?","rel":"","context":"In "IA e informatica"","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"logo di Open Euro LLM","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2025\/02\/openeurollm.png?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":25517,"url":"https:\/\/xmau.com\/notiziole\/2023\/01\/04\/sfruttati-da-chatgpt\/","url_meta":{"origin":36425,"position":3},"title":"Sfruttati da ChatGPT","author":".mau.","date":"2023-01-04","format":false,"excerpt":"Chi \u00e8 che ci guadagna nelle interazioni di queste ultime settimane?","rel":"","context":"In "IA e informatica"","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":30264,"url":"https:\/\/xmau.com\/notiziole\/2024\/12\/27\/ai-e-matematica-ci-sono-miglioramenti\/","url_meta":{"origin":36425,"position":4},"title":"AI e matematica: ci sono miglioramenti?","author":".mau.","date":"2024-12-27","format":false,"excerpt":"c'\u00e8 chi dice di s\u00ec, ma restano molti dubbi.","rel":"","context":"In "IA e informatica"","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":37273,"url":"https:\/\/xmau.com\/notiziole\/2026\/06\/01\/le-ia-riescono-ad-accorgersi-dei-testi-scritti-dalle-ia\/","url_meta":{"origin":36425,"position":5},"title":"Le IA riescono ad accorgersi dei testi scritti dalle IA?","author":".mau.","date":"2026-06-01","format":false,"excerpt":"Se sono scritti da zero, s\u00ec. Senn\u00f2 \u00e8 pi\u00f9 complicato","rel":"","context":"In "ia 2026"","block_context":{"text":"ia 2026","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/ia-2026\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"jetpack_likes_enabled":true,"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/36425","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/comments?post=36425"}],"version-history":[{"count":4,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/36425\/revisions"}],"predecessor-version":[{"id":36438,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/36425\/revisions\/36438"}],"wp:attachment":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/media?parent=36425"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/categories?post=36425"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/tags?post=36425"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}