Nel 2019 Richard Sutton postò sul suo sito un breve testo, “The Bitter Lesson“. Sutton non è esattamente l’ultimo arrivato, visto che nel 2024 ha vinto il Premio Turing “Per lo sviluppo delle basi concettuali e algoritmiche dell’apprendimento con rinforzo”. Qual era l’amara lezione imparata da Sutton? Lo dice già la prima riga: “La lezione più grande che possiamo leggere da 70 anni di ricerca sull’intelligenza artificiale è che i metodi generali che sfruttano la capacità di calcolo sono alla fine quelli che funzionano meglio, e di gran lunga”. Sutton continua con gli esempi degli scacchi e del go, continua con il doppio passaggio successo nel riconoscimento della voce – il primo è stato l’introduzione dei modelli markoviani nascosti, che ben conosco visto che sono stati l’argomento delle mie tesi di laurea, il secondo il deep learning – e termina con il riconoscimento di immagini che è decollato appunto con il deep learning. In pratica i ricercatori hanno sempre cominciato col costruire sistemi che dovevano funzionare come loro pensavano funzionasse la mente umana, salvo poi capitolare alla potenza sempre crescente di calcolo che permette di usare sistemi “stupidi, per nulla efficienti ma efficaci”. Come corollario, termina affermando che le nostre menti sono molto più complicate di quanto immaginiamo e quindi è inutile cercare di modellizzarle in modo semplice; quello che si deve fare è cercare dei meta-metodi che riescano a cogliere la complessità.

Ora Gary Marcus scrive che in realtà la lezione è ancora più amara: aumentare la potenza di calcolo funziona per alcuni tipi di problemi, principalmente quelli relativi al pattern recognition, mentre ci sono tanti altri tipi di problemi – in generale quelli che richiedono di fare un ragionamento senza avere a disposizione tutte le informazioni necessarie. E ora è tutto goduto gongolante perché Sutton ha esplicitamente detto che per lui gli LLM sono arrivati a un vicolo cieco, perché comunque operano imitando il comportamento umano (visto che sono addestrati a partire da testi scritti da umani) e quindi non si costruiscono un “godo del mondo” che permetterebbe loro di essere “sorpresi” dagli eventi e quindi riorganizzarsi: insomma, “fare esperienza”.

Per come la vedo io, una cosa è certa: un approccio ibrido in cui si aggiunga una componente “intelligente”, che poi significherebbe “a regole”, agli LLM non funzionerà mai, per un corollario di quanto scritto inizialmente da Sutton: non abbiamo nessuna idea di come trovare queste regole. Ma è anche vero che non possiamo buttare via gli LLM, perché per quanto facciano schifo nei compiti che richiedono intelligenza sono comunque utili dove l’intelligenza non serve e basta l’artigianato. Posso solo aggiungere che secondo me un approccio totalmente nuovo e migliore non lo vedremo almeno per un decennio.

Come si possono usare gli LLM per fare matematica? Su MaddMaths! ho scritto un post raccontando il progetto lanciato da Tim Gowers: la creazione di una base dati di “motivated proofs”. In pratica Gowers intende costruire un sistema AI-friendly dove i matematici spiegano anche i passaggi che nei testi sono sempre tralasciati come “banali”, per evitare che quando il problema dato a un LLM non sia simile a quanto già visto il sistema non parta per la tangente. Un approccio come quello di Gowers ha un senso: non è detto che funzionerà, ma vale la pena tentarci. Poi c’è però tutta la fuffa che circonda l’intelligenza artificiale anche in matematica, come del resto in tutti gli altri campi. Ecco due esempi di questi giorni.

Wes Roth segnala su Twitter un risultato di AlphaEvolve, un LLM di Google usato come agente per il coding che avrebbe “aiutato a dimostrare nuovi teoremi nella teoria della complessità”. Poi due righe sotto aggiunge che “i modelli non sarebbero in grado di fornire una dimostrazione completa, ma fornirebbero risultati intermedi che si sarebbero potuti perdere per distrazione”, il che – scusate – mi pare una cosa un pelo diversa. Leggendo il post di Google si scopre infatti che AlphaEvolve avrebbe trovato nuovi minoranti per dei risultati su cui non si è ancora in grado di trovare una risposta esatta, come capita spesso in quel campo della matematica. In pratica AlphaEvolve usa un LLM per generare del codice che poi viene verificato automaticamente per correttezza formale e man mano modificato per cercare di ottenere risultati migliori di quelli già noti. Praticamente lavori forzati per quei poveri modelli. D’accordo, parlare di fuffa è un’esagerazione, ma da qui a pensare a un breakthrough ce ne va. (Se poi volete vera fuffa, leggetevi i commenti al post di chi propone i loro fantasmagorici modelli…)

Girellando per la rete ho poi scoperto che una fondatrice ha raccolto 64 milioni di dollari di capitale per insegnare alle IA il linguaggio della matematica. Per fare un raffronto, il progetto di Gowers è stato uno dei 29 che si sono divisi i 9 milioni offerti dall’AI for Math Fund: ma volete mettere Axiom Math le cui sale riunione negli uffici di Palo Alto “sono chiamate col nome di matematici iconici come Carl Friedrich Gauss e Ada Lovelace, sottolineando la loro passione per il progesso scientifico fondazionale”? No, non so cosa sia il “foundational scientific progress”. In compenso vedo che Axiom Math “sta lavorando su modelli che possono scoprire e dimostrare nuovi problemi matematici”, perché evidentemente quelli già esistenti sono troppo banali. I ricercatori “sperano di applicare il loro lavoro in aree come la finanza, la progettazione di aeroplani e di chip, e il trading quantitativo.” Vabbè, mi direte, se vai a prendere la brochure di un sito che promuove il venture capital ci crediamo che scrivono di queste cose”. Occhei: andate sul sito di Axiom Math e troverete scritto a caratteri giganteschi

Allora?