Mi pare che la notizia secondo cui OpenAI ha creato un chatbot che “sa fare ragionamenti matematici e scientifici” non abbia avuto grande eco. Può darsi che ciò sia dovuto al fatto che OpenAI o1 – questo è il nome in codice del nuovo progetto – è disponibile solo per un selezionato gruppo di utenti, oppure perché a nessuno interessa davvero avere un sistema che sappia risolvere problemi matematici.

Devo dire che l’articolo del NYT è parco di informazioni. Pare che OpenAI o1 usi l’apprendimento per rinforzo, quindi “premiando” le successioni di passi logici rispetto a un risultato ottenuto di colpo. L’idea degli sviluppatori è che in questo modo ci si avvicinerebbe di più al pensiero umano. Io personalmente non sono molto convinto di questo approccio, che continua a nascondere sotto il tappeto il problema di base degli LLM: non è che avere un approccio passo passo faccia sì che il computer abbia un’idea di quello che sta facendo: per lui continua a trattarsi di un’emissione di simboli secondo una certa logica sintattica e non semantica. Certo, è vero che fare passi più brevi aumenta la probabilità che l’output del singolo passo sia corretta: ma visto che il numero di passi aumenta alla fine la probabilità di un’allucinazione è la stessa.

Il modo migliore per far risolvere problemi di matematica è quello di accorgersi che si parla di matematica e passare a un altro sistema “classico”: se la domanda è “quanto fa 48 per 75?” ci dovrebbe essere un metasistema che si accorge di star facendo un’operazione aritmetica e quindi buttare via tutto l’apprendimento standard, facendo piuttosto partire un sistema classico. Perché è vero che probabilmente ChatGPT ha visto quell’espressione in fase di addestramento e quindi ha la risposta, ma è anche vero che alla domanda “quanto fa 10048 per 13275?” i risultati non possono essere che sbagliati. Eppure il pattern dovrebbe essere chiaro, e quindi passare a un sistema aritmetico dovrebbe essere possibile senza troppe difficoltà: il chatbot continuerebbe a non “pensare”, qualunque significato si dia a questa parola nel caso degli esseri umani, e si troverebbe in difficoltà con un testo del tipo “ci sono 10000 soldati e 48 comandanti, ciascuno dei quali pattuglia una zona rettangolare di lati 59 e 225 metri. Se le zone non si sovrappongono, qual è la superficie totale pattugliata?” (Ho appena provato: ChatGPT 4o si dimentica i 10000 soldati…)

In definitiva, questi chatbot saranno anche più bravi di noi, ma ne hanno ancora di strada da fare.

Ultimo aggiornamento: 2024-09-18 22:19

C’è una battuta che gira da decenni nella quale si spiega che gli ingegneri trovano la formula 1 + 1 = 2 troppo poco elegante, e preferiscono usare delle semplici trasformazioni algebriche per giungere a

$\begin{align}
& \ln\left(\lim_{z\to\infty}\left(\left(\left( \overline{X}^T \right)^{-1} – \left( \overline{X}^{-1} \right)^{T}\right) + \frac{1}{z}\right)^2 \right) + \sin^2(p) + \cos^2(p) = \\
&\qquad = \sum_{n=0}^{\infty}\frac{\cosh(q)\cdot\sqrt{1 – \tanh^2(q)}}{2^n}
\end{align}$

(no, non si può applicare la stessa cosa ai matematici. Se a un matematico chiedete quanto fa 1 + 1, con buona probabilità vi risponderà semplicemente “dipende”).

Ho scoperto che due anni fa Neel Nanda ha studiato come un trasformatore ha “costruito” la formula per l’addizione modulo n di due numeri. Il risultato è quello che vedete qui nell’immagine in alto. Quello che è successo è che il modello di intelligenza artificiale ha “calcolato” la somma modulare di due numeri usando la trasformata di Fourier discreta e alcune identità trigonometriche. Evidentemente dal suo “punto di vista” (o forse avrei dovuto mettere le virgolette intorno a “suo”) quelle operazioni erano più facili da salvare rispetto a quelle che avremmo usato noi, oppure il materiale di addestramento aveva molte più istanze da usare. In ogni caso credo che la lezione sia abbastanza chiara: anche chi ritiene che i LLM “pensino” non può negare che il loro pensiero sia completamente diverso dal nostro… (a meno che non crediate che i nostro sistema neurale sappia usare DFT e trigonometria a manella)

Da qualche anno Riccardo Moschetti e Roberto Zanasi preparano una serie di problemi matematici che durano dal π Day al τ Day: il CalenPIario.

Il problema di sabato scorso diceva

Quanti sono gli interi positivi che in base 7 si scrivono usando 3 cifre, e in base 5 si scrivono con le stesse cifre in ordine inverso?

Io sono pigro, ho cominciato a scrivere qualche possibilità e ho trovato due soluzioni. Poi ho continuato a scrivere numeri e ho deciso che non ce n’erano altre, e in effetti era così. Un mio amico si è lamentato perché ha fatto i conti e gli veniva un risultato diverso, e ha chiesto a ChatGPT che gli ha dato lo stesso risultato.
Essendo io curioso, ho provato a chiederglielo io stesso. L’intelligenza artificiale ha sparato tutto un pippone, partendo dal numero scritto in base 7 come abc e in base 5 come cba, dando dei

Vincoli sui valori delle cifre:

    a deve essere compreso tra 1 e 6 (poiché a≠0 in base 7).
    b deve essere compreso tra 0 e 6.
    c deve essere compreso tra 1 e 4 (poiché c≠0 in base 5).

(vincoli sbagliati, tra l’altro: ovviamente anche a e b possono essere al massimo 4), e tirando fuori l’equazione 24a+b=12c che così ad occhio è corretta. Poi si mette “a fare i conti”, scopre che per a=1 c’è la soluzione (1,0,2) e dichiara che per gli altri valori di a non ce ne sono… lasciandosi sfuggire che raddoppiando i valori della prima soluzione ne ottieni un’altra: (2,0,4).

Dal mio punto di vista non è che ci sia molto di strano: gli LLM non hanno nessuna idea di quello che fanno, e per loro 24a+b=12c non è un’equazione ma un insieme di caratteri. Ci saranno state probabilmente regole statistiche che gli permettono di calcolare i multipli di 24: ma immagino che b=12c−48 non fosse così presente nella base dati di addestramento per fargli trovare la risposta.

Io continuo a pensare che le cosiddette “allucinazioni” sono intrinseche negli LLM, e quindi non abbia senso fargli fare conti matematici. Your mileage may vary.

Aggiornamento (29 maggio) Su suggerimento di mestesso ho provato a usare Gemini. Peggio ancora. A parte l’inizio dove comincia bene ma è convinto che si possa usare il 5 per un numero in base 5

Passo 1: Identificare le possibili cifre in base 7

Un numero in base 7 con 3 cifre può assumere valori compresi tra  e . Tuttavia, per essere espresso con le stesse cifre invertite in base 5, il numero non può contenere la cifra 6.

Pertanto, le possibili cifre in base 7 sono: 0, 1, 2, 3, 4, 5.

nel passo due ha qualcosa peggio di un’allucinazione: deve aver preso roba tagliata male.

Cifra delle centinaia = 0: In questo caso, il numero è semplicemente 0, che non soddisfa la condizione di avere cifre diverse da 6.

Poi continua con casistiche dove non sono scritti i numeri, e termina dicendo che ci sono 20 numeri che soddisfano il problema.

Capirete che non vado a spendere 22 euro il mese per Gemini Advanced :-)

Ultimo aggiornamento: 2024-05-30 10:33