Archivi categoria: informatica e AI

Open Encyclopedia of Cognitive Science

MIT Encyclopedia of thil sitoNel 1999 il MIT pubblicò la MIT Encyclopedia of the Cognitive Sciences, che raccoglieva informazioni sullo stato dell’arte nel campo delle scienze cognitive. È passato un quarto di secolo, sono arrivati i nuovi modelli di intelligenza artificiale, e anche il MIT si è adeguato: così hanno creato la Open Encyclopedia of Cognitive Sciences, contenente vari articoli introduttivi sui vari temi: vecchi (come il test di Turing) e nuovi (come gli LLM). Buona lettura!

Facile come 1+1


C’è una battuta che gira da decenni nella quale si spiega che gli ingegneri trovano la formula 1 + 1 = 2 troppo poco elegante, e preferiscono usare delle semplici trasformazioni algebriche per giungere a

$\begin{align}
& \ln\left(\lim_{z\to\infty}\left(\left(\left( \overline{X}^T \right)^{-1} – \left( \overline{X}^{-1} \right)^{T}\right) + \frac{1}{z}\right)^2 \right) + \sin^2(p) + \cos^2(p) = \\
&\qquad = \sum_{n=0}^{\infty}\frac{\cosh(q)\cdot\sqrt{1 – \tanh^2(q)}}{2^n}
\end{align}$

(no, non si può applicare la stessa cosa ai matematici. Se a un matematico chiedete quanto fa 1 + 1, con buona probabilità vi risponderà semplicemente “dipende”).

Ho scoperto che due anni fa Neel Nanda ha studiato come un trasformatore ha “costruito” la formula per l’addizione modulo n di due numeri. Il risultato è quello che vedete qui nell’immagine in alto. Quello che è successo è che il modello di intelligenza artificiale ha “calcolato” la somma modulare di due numeri usando la trasformata di Fourier discreta e alcune identità trigonometriche. Evidentemente dal suo “punto di vista” (o forse avrei dovuto mettere le virgolette intorno a “suo”) quelle operazioni erano più facili da salvare rispetto a quelle che avremmo usato noi, oppure il materiale di addestramento aveva molte più istanze da usare. In ogni caso credo che la lezione sia abbastanza chiara: anche chi ritiene che i LLM “pensino” non può negare che il loro pensiero sia completamente diverso dal nostro… (a meno che non crediate che i nostro sistema neurale sappia usare DFT e trigonometria a manella)

Google per default non indicizza più?

crawler di Google È un bel po’ di tempo che trovare qualcosa con Google è sempre più complicato. Non che io sia riuscito a trovare altri motori di ricerca migliori da questo punto di vista; ma l’immerdificazione (enshittification) di Google ormai non può essere tamponata nemmeno con ricerche un po’ più strutturate.

Secondo questo articolo la ragione è seplice: Google non indicizza più. O meglio, spiega Vincent Schmalbach, la sua impressione è che i suoi crawler prendono sempre tutto subito per non mancare le ultime notizie, ma poi cancellano quello che la grande G non ritiene interessante, lasciando il materiale dei siti più importanti e quello davvero di nicchia che non saprebbe come mostrare altrimenti. No, non c’è nessuna misura quantitativa, quindi potete prendere o no per buona la sua analisi, come anche il fatto che potrebbe non essere una coincidenza l’inizio di questa china con i primi contenuti scritti da GPT-1.

Che ne penso io? Scrivere contenuti interessanti e che dicano qualcosa di almeno un po’ originale è sempre più difficile. O meglio, scrivere contenuti che dicano qualcosa diverso dalla massa è sempre difficile allo stesso modo, perché bisogna fermarsi e cercare di vedere le cose da un punto di vista diverso accorgendosi allo stesso tempo di non dire idiozie (cosa che non capita spesso). Ma anche così, dire che quei contenuti siano poi interessanti è un’altra storia: ed evidentemente non è possibile distinguere tra contenuti generati artificialmente, contenuti stupidi e contenuti validi, così anche Google ha gettato la spugna. La normalizzazione di Internet è completata: le sacche residuali sopravviveranno, ma in modo carsico.

(immagine di Haywook Beasley, da Flickr)

“è corretto”

"si è verificato un problema, ma è corretto" Questa è la schermata che mi appare adesso se lancio Microsoft Store. Persino loro sanno che è corretto che abbiano problemi.

Ultimo aggiornamento: 2024-07-02 12:28

Che potrà andare storto?

logo META
Leggo dal Post che Meta sta usando i post (ma soprattutto le immagini) che gli utenti postano su Facebook e Instagram per addestrare la propria AI. In Europa (e in UK, per gli strascichi pre-Brexit) gli utenti possono dire che non vogliono che il loro materiale venga usato, sempre che si trovi la pagina nascosta dietro il link “Attenti al leopardo”; gli altri si attacchino.

Io capisco l’uso delle immagini, ma se pensate davvero di usare un’AI addestrata sui testi scritti su Facebook siete davvero ottimisti :-)

ChatGPT ne ha ancora da imparare, di matematica

il problema del calenpiario Da qualche anno Riccardo Moschetti e Roberto Zanasi preparano una serie di problemi matematici che durano dal π Day al τ Day: il CalenPIario.

Il problema di sabato scorso diceva

Quanti sono gli interi positivi che in base 7 si scrivono usando 3 cifre, e in base 5 si scrivono con le stesse cifre in ordine inverso?

Io sono pigro, ho cominciato a scrivere qualche possibilità e ho trovato due soluzioni. Poi ho continuato a scrivere numeri e ho deciso che non ce n’erano altre, e in effetti era così. Un mio amico si è lamentato perché ha fatto i conti e gli veniva un risultato diverso, e ha chiesto a ChatGPT che gli ha dato lo stesso risultato.
Essendo io curioso, ho provato a chiederglielo io stesso. L’intelligenza artificiale ha sparato tutto un pippone, partendo dal numero scritto in base 7 come abc e in base 5 come cba, dando dei

Vincoli sui valori delle cifre:

    a deve essere compreso tra 1 e 6 (poiché a≠0 in base 7).
    b deve essere compreso tra 0 e 6.
    c deve essere compreso tra 1 e 4 (poiché c≠0 in base 5).

(vincoli sbagliati, tra l’altro: ovviamente anche a e b possono essere al massimo 4), e tirando fuori l’equazione 24a+b=12c che così ad occhio è corretta. Poi si mette “a fare i conti”, scopre che per a=1 c’è la soluzione (1,0,2) e dichiara che per gli altri valori di a non ce ne sono… lasciandosi sfuggire che raddoppiando i valori della prima soluzione ne ottieni un’altra: (2,0,4).

Dal mio punto di vista non è che ci sia molto di strano: gli LLM non hanno nessuna idea di quello che fanno, e per loro 24a+b=12c non è un’equazione ma un insieme di caratteri. Ci saranno state probabilmente regole statistiche che gli permettono di calcolare i multipli di 24: ma immagino che b=12c−48 non fosse così presente nella base dati di addestramento per fargli trovare la risposta.

Io continuo a pensare che le cosiddette “allucinazioni” sono intrinseche negli LLM, e quindi non abbia senso fargli fare conti matematici. Your mileage may vary.

Aggiornamento (29 maggio) Su suggerimento di mestesso ho provato a usare Gemini. Peggio ancora. A parte l’inizio dove comincia bene ma è convinto che si possa usare il 5 per un numero in base 5

Passo 1: Identificare le possibili cifre in base 7

Un numero in base 7 con 3 cifre può assumere valori compresi tra  e . Tuttavia, per essere espresso con le stesse cifre invertite in base 5, il numero non può contenere la cifra 6.

Pertanto, le possibili cifre in base 7 sono: 0, 1, 2, 3, 4, 5.

nel passo due ha qualcosa peggio di un’allucinazione: deve aver preso roba tagliata male.

Cifra delle centinaia = 0: In questo caso, il numero è semplicemente 0, che non soddisfa la condizione di avere cifre diverse da 6.

Poi continua con casistiche dove non sono scritti i numeri, e termina dicendo che ci sono 20 numeri che soddisfano il problema.

output di gemini

Capirete che non vado a spendere 22 euro il mese per Gemini Advanced :-)

Ultimo aggiornamento: 2024-05-30 10:33

Un’italica base dati per i Grandi Modelli Linguistici?

LLM al lavoro Stavo leggendo questo articolo di Antonio Piemontese da Guerre di rete, e mi sono trovato questa frase:

“La risposta è che raccogliere questi dati, aggiungere tag e metadati è un’operazione lunga, complessa”, spiega a Guerre di Rete il CTO di un’importante società, che accetta di parlare a condizione dell’anonimato. “Questo lavoro di sistematizzazione non l’ha ancora fatto nessuno. E per venirne a capo serve l’intervento dello Stato, ma anche quello dei privati”.

Devo dire che non riesco a capire cosa c’entri l’intervento dello Stato, a parte il suo poter/dover fornire una versione di tutti i documenti ufficiali in formato scaricabile dai sistemi di crawling.
Non è compito dello Stato taggare e inserire metadati, e tra l’altro temerei un Modello a Pensiero Unico con un’interpretazione data una volta per tutte. (Non penserete mica che qualcuno aggiunga queste informazioni a manina, vero?)
Io non sono un grande fautore del privato a tutti i costi, ma in casi come questo continuo a pensare che nella piramide DIKW quello che dovrebbe essere disponibile a tutti allo stesso modo sono i dati. Già l’informazione dovrebbe essere personalizzata a seconda di come si maneggiano i dati, e non parliamo della conoscenza. (La saggezza e gli LLM viaggiano su strade non intersecantesi). Che ne pensate?

(immagine di DancingPhilosopher, da Wikimedia Commons)

Fantasy Internet Simulator

Da Priscilla De Pace (via Anna) scopro l’esistenza di Fantasy Internet Simulator, un progetto di un browser che fornisce pagine web come se fossimo ancora nel 1998. La cosa divertente è che le pagine mostrate in realtà non esistono, e sono generate da ChatGPT… (e la cosa triste è che somigliano molto alle pagine del mio sito. Dovrei farmi qualche domanda?)

Ultimo aggiornamento: 2024-03-21 11:34