Ho trovato su Substack questo post di Alberto Romero che mi ha preoccupato parecchio. Riassunto per chi ha fretta: Romero ipotizza che GPT-5 esiste, ma non verrà reso pubblico perché il suo costo computazionale è troppo alto; esso è stato però usato per addestrare i nuovi modelli pubblici, come o1 e il futuro o3. Da dove deriva questa impressione? da quello che è successo con Anthropic (cioè Amazon, se ve lo chiedeste) e Opus 3.5, che è stato ufficialmente cancellato “perché non era così migliore dei modelli precedenti” ma sarebbe stato comunque usato per addestrare il successore del precedente sistema Sonnet 3.5, che effettivamente ha avuto un grande miglioramento nelle prestazioni. Notate il condizionale che ho usato (perché è stato usato nell’articolo). Sono tutte supposizioni.
Romero spiega che il rapporto costi-benefici del nuovo sistema non si è rivelato sufficiente: d’altra parte, se date un’occhiata a questo post, notate come il passaggio da un modello a quello superiore costa – nel senso di quanto si paga per migliaia di token – un ordine di grandezza in più passando da un modello al successivo… tranne che nel caso di o1, dove il costo si riduce. Inoltre il modello di o1 sembra avere un numero di parametri inferiore a quello di GPT-4. L’inferenza di Romero è che o1 è stato addestrato con GPT-5. È vero che il costo computazionale di quest’ultimo sarebbe altissimo, ma è anche vero che l’addestramento si fa una volta sola, e
What you need to remember is that a strong model acting as a “teacher” turns “student” models from [small, cheap, fast] + weak into [small, cheap, fast] + powerful.
Il tutto senza contare che è finito il materiale di pre-addestramento: sempre dall’articolo di Romero,
But overtraining is not feasible anymore. AI labs have exhausted the high-quality data sources for pre-training. Elon Musk and Ilya Sutskever admitted that much in recent weeks
(ok, che lo dica Elonio non significa molto, ma basta fare dei conti spannometrici per accorgersi che questa ipotesi è plausibile.) Tutto bene, allora? Viviamo nel migliore dei mondi possibili e abbiamo trovato un sistema per ridurre l’impronta energetica di questi sistemi? Mica tanto. L’autoaddestramento va benissimo per sistemi dalle regole fisse, come il go. Qui invece abbiamo un sistema statistico. proprio perché sono vent’anni che abbiamo visto che è impossibile sperare di trovare un sistema di regole. Posso immaginare che ci siano tonnellate di correzioni inserite nell’algoritmo, ma autoaddestrare in questo modo dà la certezza che gli errori di base nell’approccio generativo delle risposte si perpetueranno, perché il sistema si dà ragione da solo. Si avrà, solo moltiplicato per un fattore incredibile, l’effetto Wikipedia copycat: qualcuno scrive un testo errato nell’enciclopedia, altri copiano bovinamente quello che c’è scritto, e a questo punto abbiamo la fonte bella pronta e la Verità Errata stabilita una volta per tutte.
Capite perché sono preoccupato?
Sottoscrivo quanto hai detto, ma tieni presente che stiamo parlando di qualcosa che è ancora molto in evoluzione e per nulla “stabile”. In particolare ci sono due trend nel costruire nuovi LLMs:
1) adottare “limature” nel calcolo dei tensori come ad esempio fare calcoli con gli interi anziché floating point
2) sinora il modello di sviluppo più facile era il “copia ed incolla” di una rete, aumentando vertiginosamente il numero di parametri e relativo costo computazionale. Il prossimo salto sarà invece ridurre reti e parametri, analizzando meglio i contributi di ciascuna sottorete al sistema
Aggiungo che sino ad ora applicazioni professionali di AI io non ne ho ancora viste se non i chatbot. Dubito che vedremo sul mercato del B2B roba che funzioni ancora per parecchio…detto in altri termini: lo schema Ponzi dietro i vari openAI, Anthropic etc non ha molto tempo ancora per tirare fuori qualcosa che sia veramente utile. Fino ad ora abbiamo giocato, ma l’affidabilità di soluzioni AI latita, a mio avviso.
Però se si sta davvero facendo qualcosa per ridurre il numero dei parametri lo si fa assolutamente di nascosto, nel senso che non si trova nulla scritto in giro neppure ad alto livello.
Sicuramente l’attuale paradigma non è più scalabile, su questo penso siamo tutti d’accordo.
Per ora nessuno scopre le carte, per non dare vantaggio competitivo ad altri. Inoltre oggi c’è la gara tipo “capture the flag”: il primo che arriva (a fare qualcosa di decente) meglio sta, a qualsiasi costo, finché appunto lo schema Ponzi dura. Non rimane molto margine, però, quindi mi aspetto a breve-medio termine capiremo meglio a che punto stiamo con il lato dei costi.
Oggi, ti posso dire per aver visto diversi tentativi, nel B2B siamo al più al lavoro assistito da un agent, ma sempre sotto completo controllo umano.
sul B2B è la mia stessa impressione. Anche quelli che lodano le magnifiche sorti e progressive in realtà lo usano per uno scheletro che poi è da aggiustare, magari non troppo pesantemente ma comunque non funziona da solo.
Mah, un sistema che funziona davvero da solo convergerebbe rapidamente in AI che parlano con altre AI.
Es. quando scrivo allegramente una mail di lagnanze all’amm.re, ovviamente uso l’AI per preparare la mail, ma sono contento se il tale poi se la fa riassumere dall’AI, usa l’AI per la risposta, aggiusta due parole e chiede all’AI di inviarmi la cortese risposta in forma di vocalone via chat (apposta per fastidiare, essendo l’amm.re un umano capace di sentimenti).
Viceversa nel caso di sistemi autonomi, la mia AI si accorge del problema, scrive all’AI dell’amm.re, si mettono d’accordo su cosa fare e poi, forse, ci fanno sapere. Ma così. senza nessun malanimo o intento polemico, come stupide macchine!
Comunque pensare di lavorare oggi senza AI sarebbe come pensare di fare una ricerchina delle medie senza riviste da ritagliare! Capisco la nostalgia per le cose fatte a manina, vergando la cartapecora con il pennino dorato e cancellando con la bacchetta d’osso, ma c’è un limite anche all’improduttività!
(e il modello populist-cinese? è solo un trucco propagandistico dei rossi o si può anche pensare di non fare di più dello stesso ma di cambiare un po’ sistema?)