{"id":30431,"date":"2025-01-23T04:51:48","date_gmt":"2025-01-23T03:51:48","guid":{"rendered":"https:\/\/xmau.com\/wp\/notiziole\/?p=30431"},"modified":"2025-12-29T18:48:02","modified_gmt":"2025-12-29T17:48:02","slug":"se-non-ci-fossero-nuovi-llm","status":"publish","type":"post","link":"https:\/\/xmau.com\/notiziole\/2025\/01\/23\/se-non-ci-fossero-nuovi-llm\/","title":{"rendered":"E se non ci fossero pi\u00f9 &#8220;nuovi LLM?&#8221;"},"content":{"rendered":"<p>Ho trovato su Substack <a href=\"https:\/\/substack.com\/inbox\/post\/154958095\">questo post di Alberto Romero<\/a> che mi ha preoccupato parecchio. Riassunto per chi ha fretta: Romero ipotizza che GPT-5 esiste, ma non verr\u00e0 reso pubblico perch\u00e9 il suo costo computazionale \u00e8 troppo alto; esso \u00e8 stato per\u00f2 usato per addestrare i nuovi modelli pubblici, come o1 e il futuro o3. Da dove deriva questa impressione? da quello che \u00e8 successo con Anthropic (cio\u00e8 Amazon, se ve lo chiedeste) e Opus 3.5, che \u00e8 stato ufficialmente cancellato &#8220;perch\u00e9 non era cos\u00ec migliore dei modelli precedenti&#8221; ma sarebbe stato comunque usato per addestrare il successore del precedente sistema Sonnet 3.5, che effettivamente ha avuto un grande miglioramento nelle prestazioni. Notate il condizionale che ho usato (perch\u00e9 \u00e8 stato usato nell&#8217;articolo). Sono tutte supposizioni.<\/p>\n<p>Romero spiega che il rapporto costi-benefici del nuovo sistema non si \u00e8 rivelato sufficiente: d&#8217;altra parte, se date un&#8217;occhiata <a href=\"https:\/\/www.tensorops.ai\/post\/understanding-the-cost-of-large-language-models-llms\">a questo post<\/a>, notate come il passaggio da un modello a quello superiore costa &#8211; nel senso di quanto si paga per migliaia di token &#8211; un ordine di grandezza in pi\u00f9 passando da un modello al successivo&#8230; <b>tranne che nel caso di o1<\/b>, dove il costo si riduce. Inoltre il modello di o1 sembra avere un numero di parametri inferiore a quello di GPT-4. L&#8217;inferenza di Romero \u00e8 che o1 \u00e8 stato addestrato con GPT-5. \u00c8 vero che il costo computazionale di quest&#8217;ultimo sarebbe altissimo, ma \u00e8 anche vero che l&#8217;addestramento si fa una volta sola, e <\/p>\n<blockquote><p>What you need to remember is that a strong model acting as a \u201cteacher\u201d turns \u201cstudent\u201d models from [small, cheap, fast] + weak into [small, cheap, fast] + powerful. <\/p><\/blockquote>\n<p>Il tutto senza contare che \u00e8 finito il materiale di pre-addestramento: sempre dall&#8217;articolo di Romero, <\/p>\n<blockquote><p>But overtraining is not feasible anymore. AI labs have exhausted the high-quality data sources for pre-training. Elon Musk and Ilya Sutskever admitted that much in recent weeks<\/p><\/blockquote>\n<p>(ok, che lo dica Elonio non significa molto, ma basta fare dei conti spannometrici per accorgersi che questa ipotesi \u00e8 plausibile.) Tutto bene, allora? Viviamo nel migliore dei mondi possibili e abbiamo trovato un sistema per ridurre l&#8217;impronta energetica di questi sistemi? Mica tanto. L&#8217;autoaddestramento va benissimo per sistemi dalle regole fisse, come il go. Qui invece abbiamo un sistema statistico. proprio perch\u00e9 sono vent&#8217;anni che abbiamo visto che \u00e8 impossibile sperare di trovare un sistema di regole. Posso immaginare che ci siano tonnellate di correzioni inserite nell&#8217;algoritmo, ma autoaddestrare in questo modo d\u00e0 la certezza che gli errori di base nell&#8217;approccio generativo delle risposte si perpetueranno, perch\u00e9 il sistema si d\u00e0 ragione da solo. Si avr\u00e0, solo moltiplicato per un fattore incredibile, l&#8217;effetto Wikipedia copycat: qualcuno scrive un testo errato nell&#8217;enciclopedia, altri copiano bovinamente quello che c&#8217;\u00e8 scritto, e a questo punto abbiamo la fonte bella pronta e la Verit\u00e0 Errata stabilita una volta per tutte.<\/p>\n<p>Capite perch\u00e9 sono preoccupato?<\/p>\n","protected":false},"excerpt":{"rendered":"<p>@aitech@feddit.it &#8211; C&#8217;\u00e8 chi ipotizza che gli LLM complessi saranno usati solo per addestrare quelli resi pubblici, e Ci\u00f2 \u00c8 Male<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"activitypub_content_warning":"","activitypub_content_visibility":"","activitypub_max_image_attachments":3,"activitypub_interaction_policy_quote":"anyone","activitypub_status":"federated","footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[30,1024],"tags":[],"class_list":["post-30431","post","type-post","status-publish","format-standard","hentry","category-ia","category-ia-2025"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/phh2yV-7UP","jetpack-related-posts":[{"id":33855,"url":"https:\/\/xmau.com\/notiziole\/2025\/09\/29\/stanno-davvero-arrivando-le-ia-intelligenti\/","url_meta":{"origin":30431,"position":0},"title":"Stanno davvero arrivando le IA &#8220;intelligenti&#8221;?","author":".mau.","date":"2025-09-29","format":false,"excerpt":"All'International Collegiate Programming Contest OpenAI \u00e8 stata pi\u00f9 brava delle squadre di programmatori umani","rel":"","context":"In &quot;IA e informatica&quot;","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":34570,"url":"https:\/\/xmau.com\/notiziole\/2025\/12\/01\/google-gemini-3\/","url_meta":{"origin":30431,"position":1},"title":"Google Gemini 3","author":".mau.","date":"2025-12-01","format":false,"excerpt":"Sono in tanti (anche i mercati...) a dire che \u00e8 un grande miglioramento.","rel":"","context":"In &quot;IA e informatica&quot;","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":32334,"url":"https:\/\/xmau.com\/notiziole\/2025\/05\/02\/meta-e-uso-dellai\/","url_meta":{"origin":30431,"position":2},"title":"Meta e uso dell&#8217;AI","author":".mau.","date":"2025-05-02","format":false,"excerpt":"Io non ho dato il consenso, ma non so quanti lo faranno","rel":"","context":"In &quot;socialcosi e internet&quot;","block_context":{"text":"socialcosi e internet","link":"https:\/\/xmau.com\/notiziole\/category\/socialcosi\/"},"img":{"alt_text":"opposizione accolta da Meta","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2025\/05\/meta-ai-300x57.png?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]},{"id":33709,"url":"https:\/\/xmau.com\/notiziole\/2025\/09\/16\/gli-llm-sono-tarati-per-avere-allucinazioni\/","url_meta":{"origin":30431,"position":3},"title":"Gli LLM sono tarati per avere allucinazioni?","author":".mau.","date":"2025-09-16","format":false,"excerpt":"Un paper di OpenAI sembra indicare proprio questo.","rel":"","context":"In &quot;IA e informatica&quot;","block_context":{"text":"IA e informatica","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/"},"img":{"alt_text":"risultati","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2025\/09\/Clipboard_09-15-2025_01.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2025\/09\/Clipboard_09-15-2025_01.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2025\/09\/Clipboard_09-15-2025_01.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2025\/09\/Clipboard_09-15-2025_01.png?resize=700%2C400&ssl=1 2x"},"classes":[]},{"id":35886,"url":"https:\/\/xmau.com\/notiziole\/2026\/02\/09\/lia-il-cosa-e-il-come\/","url_meta":{"origin":30431,"position":4},"title":"L&#8217;IA, il cosa e il come","author":".mau.","date":"2026-02-09","format":false,"excerpt":"Sar\u00e0 vero che dobbiamo ormai focalizzarci sul cosa fare e non sul come farlo?","rel":"","context":"In &quot;ia 2026&quot;","block_context":{"text":"ia 2026","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/ia-2026\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":37237,"url":"https:\/\/xmau.com\/notiziole\/2026\/05\/28\/magnifica-humanitas-e-ia\/","url_meta":{"origin":30431,"position":5},"title":"Magnifica Humanitas e IA","author":".mau.","date":"2026-05-28","format":false,"excerpt":"Davvero sarebbe stata scritta usando l'IA? Ho molti dubbi","rel":"","context":"In &quot;ia 2026&quot;","block_context":{"text":"ia 2026","link":"https:\/\/xmau.com\/notiziole\/category\/ia\/ia-2026\/"},"img":{"alt_text":"vignetta di Natangelo","src":"https:\/\/i0.wp.com\/xmau.com\/notiziole\/wp-content\/uploads\/sites\/6\/2026\/05\/natangelo-enciclica-288x300.jpg?resize=350%2C200&ssl=1","width":350,"height":200},"classes":[]}],"jetpack_likes_enabled":true,"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/30431","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/comments?post=30431"}],"version-history":[{"count":6,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/30431\/revisions"}],"predecessor-version":[{"id":30437,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/posts\/30431\/revisions\/30437"}],"wp:attachment":[{"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/media?parent=30431"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/categories?post=30431"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/xmau.com\/notiziole\/wp-json\/wp\/v2\/tags?post=30431"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}