Oggi racconto di due fallimenti dell’intelligenza artificiale su compiti apparentemente semplici, il che non \u00e8 poi cos\u00ec strano se ci si pensa su un attimo.<\/p>\n
Il primo esempio<\/a> ha visto giocare una partita a scacchi tra ChatGPT o4, quello che dovrebbe essere il modello di punta di OpenAI, e… il programma di scacchi di (un emulatore di un) Atari 2600, una console del 1977, quando persino io non avevo ancora cominciato a toccare cose di programmazione (ho cominciato con la TI-57 a Natale 1978). Bene, o4 ha perso in modo spettacolare, lamentandosi che non riusciva a riconoscere le icone molto minimali dello schermo dell’Atari, ma non riuscendo meglio nemmeno quando si \u00e8 passati alla notazione scacchistica standard. E dire che l’Atari era stato settato in modalit\u00e0 “principiante”, roba che forse anch’io che non gioco a scacchi da decenni sarei riuscito a batterlo.<\/p>\n Questo risultato non mi stupisce pi\u00f9 di tanto. Ribadisco il mio – ma non solo mio – mantra: un LLM \u00e8 un autocompletatore con gli steroidi; questo significa che se c’\u00e8 materiale di addestramento sufficiente, anche senza rinforzo manuale, \u00e8 probabile che il modello riesca a dare una risposta corretta. Ma ci sono troppe possibili partite a scacchi per sperare che un addestramento generalista possa fare inferire delle regole che valgano per ogni partita. (Un addestramento specifico ce la fa, vedi AlphaGo Zero).<\/p>\n Quello che invece mi ha stupito \u00e8 questo articolo di Apple<\/a>, citato qui<\/a>. (Ve lo dico subito, io ho solo dato una scorsa all’articolo originale e letto il resoconto). L’articolo mostra il risultato di un esperimento sulla risoluzione alcuni semplici problemi, come per esempio quello della Torre di Hanoi<\/a>, da parte di LLM per cos\u00ec dire standard e modelli che applicano il cosiddetto “ragionamento” (LRM, Large Reasoning Models) per dare una risposta presumibilmente pi\u00f9 accurata. Che \u00e8 successo in questo caso? Nel caso della Torre di Hanoi nelle situazioni semplici, con due o tre dischi, i risultati migliori sono stati ottenuti dagli LLM, il che dimostra una volta per tutte la verit\u00e0 del tormentone “pensare troppo fa male”; addirittura i modelli continuano a esplorare strade sbagliate dopo avere trovato la risposta corretta. Passando a compiti di media complessit\u00e0, dai 4 ai 7 dischi, in effetti gli LRM si comportano molto meglio degli LLM. Ma superato anche quel valore entrambi i modelli non riescono pi\u00f9 a trovare una soluzione, nemmeno se si fornisce loro l’algoritmo per risolvere il problema. E quel che \u00e8 ancora pi\u00f9 strano \u00e8 che la non-risposta viene data dopo aver generato un numero minore<\/b> di token, come se il modello si desse per vinto. <\/p>\n Tutto questo vale per i principali modelli attualmente disponibili: in altre parole, nessuno di essi riesce a estrapolare una soluzione generale da quelle particolari, neppure con il cosiddetto “ragionamento”. La Torre di Hanoi ha per esempio una soluzione ricorsiva molto semplice: se devi spostare n<\/i> dischi dal piolo A al piolo C, ne sposti n<\/i>−1 da A a B, sposti l’ultimo piolo da B a C, e sposti i n<\/i>−1 pioli da B a C. Ma esiste anche una semplice soluzione procedurale che non richiede ricorsivit\u00e0: nelle mosse dispari si sposta il disco 1 sempre nella stessa direzione ( A → B → C → A oppure A → C → B → A, dipende da quale sar\u00e0 il piolo dove si former\u00e0 la nuova pila: ma tanto nella peggiore delle ipotesi basta rifare le stesse mosse una seconda volta) e nelle mosse pari si sposta l’unico disco possibile diverso dall’1. Non mi aspetto ovviamente che un LLM standard possa “spacchettare” queste istruzioni per arrivare alla soluzione; ma credevo che nel caso degli LRM esistesse un livello che potremmo definire di generalizzazione (“astrazione” mi pare troppo), mentre evidentemente non c’\u00e8. Direi insomma che se il livello attuale \u00e8 davvero questo possiamo stare tranquilli e continuare a usare gli LLM per generare report che nessuno tanto legger\u00e0 :-)<\/p>\n","protected":false},"excerpt":{"rendered":" Ci vorr\u00e0 ancora molto per avere una vera intelligenza artificiale generativa. Ecco due esempi.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"activitypub_content_warning":"","activitypub_content_visibility":"","activitypub_max_image_attachments":3,"activitypub_interaction_policy_quote":"anyone","activitypub_status":"federated","footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[30,1024],"tags":[],"class_list":["post-32780","post","type-post","status-publish","format-standard","hentry","category-ia","category-ia-2025"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/phh2yV-8wI","jetpack-related-posts":[{"id":27065,"url":"https:\/\/xmau.com\/notiziole\/2023\/08\/22\/campionati-femminili-di-scacchi-e-donne-trans\/","url_meta":{"origin":32780,"position":0},"title":"Campionati femminili di scacchi e donne trans","author":".mau.","date":"2023-08-22","format":false,"excerpt":"Non riesco a capire.","rel":"","context":"In "pipponi"","block_context":{"text":"pipponi","link":"https:\/\/xmau.com\/notiziole\/category\/pipponi\/"},"img":{"alt_text":"scacchiera","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2023\/08\/A_game_of_chess.jpg?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":27992,"url":"https:\/\/xmau.com\/notiziole\/2023\/12\/28\/vale-la-pena-fare-tornei-di-scacchi\/","url_meta":{"origin":32780,"position":1},"title":"Vale la pena fare tornei di scacchi?","author":".mau.","date":"2023-12-28","format":false,"excerpt":"Ho dei dubbi, viste le liti","rel":"","context":"In "pipponi"","block_context":{"text":"pipponi","link":"https:\/\/xmau.com\/notiziole\/category\/pipponi\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2023\/12\/275286-300x300.png?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":8300,"url":"https:\/\/xmau.com\/notiziole\/2011\/04\/10\/gioco_della_dom_103\/","url_meta":{"origin":32780,"position":2},"title":"gioco della domenica: Tetris Labs","author":".mau.","date":"2011-04-10","format":false,"excerpt":"un uso creativo dei blocchi del Tetris","rel":"","context":"In "giochi"","block_context":{"text":"giochi","link":"https:\/\/xmau.com\/notiziole\/category\/giochi\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":23406,"url":"https:\/\/xmau.com\/notiziole\/2021\/12\/14\/carnevale-della-matematica-155-goto-proooof\/","url_meta":{"origin":32780,"position":3},"title":"Carnevale della matematica #155: GOTO Proooof","author":".mau.","date":"2021-12-14","format":false,"excerpt":"hanno cambiato le regole degli scacchi per colpa della matematica!","rel":"","context":"In "link"","block_context":{"text":"link","link":"https:\/\/xmau.com\/notiziole\/category\/link\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":13003,"url":"https:\/\/xmau.com\/notiziole\/2016\/05\/16\/il-white-album-a-otto-bit\/","url_meta":{"origin":32780,"position":4},"title":"Il White Album a otto bit","author":".mau.","date":"2016-05-16","format":false,"excerpt":"Presente la musichetta dei primi videogiochi? Ecco.","rel":"","context":"In "link"","block_context":{"text":"link","link":"https:\/\/xmau.com\/notiziole\/category\/link\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":29959,"url":"https:\/\/xmau.com\/notiziole\/2024\/11\/06\/piu-che-il-doppiar-degli-scacchi-sinmilla\/","url_meta":{"origin":32780,"position":5},"title":"pi\u00f9 che il doppiar degli scacchi s’inmilla","author":".mau.","date":"2024-11-06","format":false,"excerpt":"La multa stratosferica dei russi a Google","rel":"","context":"In "mate-light-2024"","block_context":{"text":"mate-light-2024","link":"https:\/\/xmau.com\/notiziole\/category\/matematica_light\/matelight-2024\/"},"img":{"alt_text":"20 sestilioni","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2024\/11\/20sestilioni.jpg?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2024\/11\/20sestilioni.jpg?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2024\/11\/20sestilioni.jpg?resize=525%2C300&ssl=1 1.5x"},"classes":[]}],"jetpack_likes_enabled":true,"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/32780","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/comments?post=32780"}],"version-history":[{"count":1,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/32780\/revisions"}],"predecessor-version":[{"id":32781,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/32780\/revisions\/32781"}],"wp:attachment":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/media?parent=32780"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/categories?post=32780"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/tags?post=32780"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}