Jacopo mi ha chiesto aiuto perché non riusciva a bilanciare una reazione. La guardo e dico che non si pùo, perché viene un sistema di equazioni impossibile. Per sicurezza apro math-gpt e gli chiedo “Puoi bilanciare la reazione CaCl + 2K_3PO_4 = Ca_3(PO_4)_2 + KCl ?”. La sua risposta è cominciata così:

Ecco il bilanciamento passo a passo, assumendo che la formula corretta del cloruro di calcio sia CaCl₂:

Ovviamente Jacopo aveva copiato male, e ancora più ovviamente io non avevo acceso il neurone e notato che lo ione calcio è Ca²⁺ mentre quello cloro è Cl⁻, e quindi il composto non poteva essere corretto. Però l’idea che un LLM “trovi l’errore” mi ha lasciato basito.

PS: dovendo seguire Jacopo ho dovuto riprendere queste nozioni di base di chimica (inorganica), e mi sono accorto (a) che adesso i programmi vanno più in profondità rispetto a quando ho fatto il liceo (o magari il mio professore non se ne curava, perché chimica la si faceva in quarta e quindi nessuno si sarebbe accorto delle nostre competenze) e (b) che le dispense date dai professori di Jacopo (essendo stato bocciato l’anno scorso, ha fatto due volte chimica) non danno nessuna idea di perché le cose funzionino così e costringono o ragazzi a imparare a memoria e quindi dimenticare subito tutto. Ho perso un po’ di tempo per farmi un modello mentale di come si riempiano i livelli orbitali s,p,d,f (che io non avevo studiato), modello che per me funziona molto meglio delle diagonali presentate nelle dispense. Però il mio modello mi ha permesso di capire la differenza fondamentale tra i gruppi A e B, che al liceo mi era ignota. Essere anzyani dà un insieme di conoscenze che aiuta a trovare strutture più facili da ricordare. Peccato che queste strutture mi siano chiare, ma non sappia spiegarle soprattutto a qualcuno che non è per nulla interessato…

È stato lanciato ChatGPT-5, e a quanto pare i giudizi sono discordi. A quanto sembra, non funziona così tanto meglio della versione 4o, o almeno ci sono task in cui funziona peggio. Il tutto dopo due anni di preparazione del nuovo modello. Come è possibile?

Cal Newport sul New Yorker spiega ricapitola la storia, partendo dall’articolo “Scaling Laws for Neural Language Models” scritto a gennaio 2020 da alcuni ricercatori top di OpenAI, tra cui Jared Kaplan e Dario Amodei che poi ha fondato Anthropic. In questo articolo si affermava che non solo i modelli sarebbero migliorati con l’aumentare delle dimensioni del materiale di addestramento, e non si sarebbero adagiati sul memorizzare semplicemente le frasi, ma l’aumento delle prestazioni sarebbe stato secondo una legge di potenza. E in effetti GPT-3 è stato un grande miglioramento rispetto a GPT-2, così come GPT-4 lo è stato rispetto a GPT-3. Ma poi ci si è appunto fermati: OpenAI ha creato modelli ibridi, e adesso un GPT-5 non così eclatante.

In effetti i modelli o1, o3 e o4 non hanno lavorato sul preaddestramento, come previsto dall’articolo di OpenAI citato all’inizio, ma sul postaddestramento: in un certo senso ci si è “limitati” a fare aggiustamenti successivi. Anche la distillazione è un aggiustamento, in un certo senso, Evidentemente quello che è successo è che non si è riusciti ad aumentare il preaddestramento a sufficienza.

Cosa significa tutto questo, a parte il far crescere di intensità le voci di scoppio della bolla AI, come dice per esempio Charlie Warzel sull’Atlantic? La mia sensazione è che non ci sia più abbastanza materiale di addestramento in tutto il mondo, e quindi da quel lato abbiamo toccato il tetto. Del resto, fare generare nuovo testo dagli LLM, come è stato proposto anche seriamente da qualcuno, non mi pare chissà quale grande idea: il materiale fondamentalmente è lo stesso. L’unico grande serbatoio rimasto a disposizione per aumentare la base dati di addestramento sono le chat, che però sono sempre più protette per ragioni di privacy. Il postaddestramento migliora i risultati, ma non tanto come il preaddestramento: quindi anche da lì non si potrà tirare fuori più di tanto.

Siamo insomma arrivati all’ultimo miglio per i modelli di intellgenza artificiale? Non necessariamente. Diciamo che siamo arrivati all’ultimo miglio per i modelli attuali, il che significa semplicemente che bisognerà trovare qualcosa di nuovo. Non necessariamente “conoscenza” nel senso che noi umani intendiamo, ma sicuramente un nuovo modo per lavorare con la correlazione dei dati, o almeno con la fase che segue la correlazione. Ma questo non sarà certo semplice, e ci vorranno tanti, tanti soldi oltre che nuove idee: se la bolla delle IA scoppierà perché non ci sono più miglioramenti tangibili, da dove arriveranno questi soldi?