Nome dell'autore: .mau.

In un vecchio suo post, Alejandro Piad Morffis elenca quelle che per Melanie Mitchell – non certo l’ultima arrivata nel campo delle scienze cognitive – sono le quattro fallacie dell’IA moderna. È vero che un anno nell’IA sembra una vita, ma in questo caso direi che le idee sono abbastanza generali da essere rimaste valide, anche se non necessariamente corrette.

La prima fallacia è pensare che il continuo progresso delle IA significa che ci stiamo gradualmente avvicinando all’AGI, l’intelligenza artificiale generale. L’errore di questa visione è che l’intelligenza non si può misurare con una metrica unidimensionale: ci sono tante diverse direzioni. Del resto abbiamo visto negli ultimi vent’anni quanti paradigmi diversi sono stati superati: probabilmente ce ne vorranno ancora tanti altri prima di arrivare all’AGI.

La seconda fallacia è il paradosso della difficoltà. Il paradosso di Moravec dice che sappiamo costruire un’IA con quoziente intellettivo altissimo ma non sappiamo ancora dargli le capacità sensorie e motorie di un bambino di un anno. Il significato pratico è che la definizione umana e quella artificiale di complessità sono molto diverse, e soprattutto che non sappiamo ancora quanti strati di complessità ci sono nei nostri “semplici” movimenti.

La terza fallacia è quella che chiamerei “acronimite”. Siamo troppo legati a un modello umano, e quindi cerchiamo di dare acronimi riconoscibili (Mitchell fa l’esempio di “General Language Understanding Evaluation”, GLUE) a benchmark pensati per gli umani. È vero che quando il benchmark è raggiunto e superato possiamo dire che in fin dei conti ciò che fa un LLM è indistinguibile all’atto pratico dal comprendere: è il famigerato duck test, quello che dice che se un animale sguazza nell’acqua e fa quack come un’anatra allora è un’anatra. Però resta il problema di partenza: ha senso valutare una IA con un metro umano? Questo vale sia in positivo che in negativo, naturalmente.

Infine c’è la fallacia “filosofica”: immaginare che si possa avere una “mente senza corpo”. Qua potremmo in effetti discuterne: questa è infatti la posizione di Mitchell, che possiamo tradurre come “un’IA non potrà mai sapere cosa significa camminare su una spiaggia dopo un temporale”. In un certo senso direi che è abbastanza simile alla precedente: noi continuiamo a pensare alle IA in modo “umano”, ma i risultati migliori si sono avuti quando sono stati ideati metodi generali che non hanno nulla a che fare con quello che è il nostro modo di fare. Anche senza considerare AlphaGo e simili, pensate al salto di qualità quando i traduttori hanno abbandonato l’approccio a regole e si sono affidati a considerazioni puramente statistiche.

Detto tutto questo, per onestà verso di voi devo segnalare che la mia formazione – se si può definirla così, non ho mai studiato davvero questi temi – arriva da Douglas Hofstadter, che ha anche avuto Melanie Mitchell come studentessa, anche se poi credo che le loro strade per quanto riguarda le scienze cognitive si siano divise. Notate che entrambi parlano di “scienze cognitive” e non di “intelligenza artificiale”, e questo vuol dire molto. Poi sono abbastanza pragmatico da pensare che in fin dei conti l’approccio puramente statistico funziona bene, ma resta il fatto che per farlo funzionare molto bene secondo me manca ancora parecchio. Non è detto che alla fine si arriverà a “inserire dell’umanità” nelle IA, magari ci vorrà qualcosa di completamente diverso che non abbiamo ancora ideato: ma la corsa ai bilioni/trilioni di parametri non potrà proseguire più di tanto.

Jakob Schwichtenberg si chiede perché proviamo fastidio, se non addirittura disgusto, con i testi creati da un’IA. Notate che non sta parlando dell’IA in genere, ma proprio della parte forse più creativa. Il suo ricordo è che quando venne in contatto per la prima volta con un’IA generativa di quarta generazione e le diede un testo da riscrivere, il suo primo commento è stato “azz, non sarei mai riuscito a scrivere così bene!”, unito a un po’ di paura. Ma col tempo, riguardando quello stesso testo, il commento è “ugh”: ora vede tutti i pattern tipici e le imperfezioni della sbobbIA generata. Capisco perfettamente il suo punto di vista, perché capita la stessa cosa anche a me. No, non rileggo le cose passate, ma magari ci ripenso su dopo qualche ora e mi accorgo di cosa sta effettivamente facendo.

Quali sono i guai con l’IA, secondo Schwichtenberg? Il primo e più banale è quello delle allucinazioni. Già prima degli LLM correggere le cazzate scritte da qualcuno costava dieci volte tanto la fatica di scriverle; ora questo rapporto è cresciuto di un fattore 100, perché far scrivere a un LLM un testo costa praticamente zero. Posso dire che con Claude dirgli esplicitamente nelle preferenze di non inventare nulla aiuta abbastanza, ma bisogna sempre essere con gli occhi aperti. Il secondo sono le frasi riempitive che non danno nessuna informazione. In un report che tanto i capi non leggeranno questo non è un problema, ma in altri casi sì… perché noi umani siamo abituati a cercare sempre un senso in quello con  cui abbiamo a che fare. Avete presente la pareidolia? Ecco. Schwichtenberg fa l’esempio più classico: l’analisi automatica del significato di quanto l’inviato imperiale Lord Dorwin aveva detto in uno dei romanzi del ciclo della Fondazione di Asimov. Fatta tutta l’analisi, il risultato finale è stato zero. Segue poi la mancata conoscenza della realtà: Schwichtenberg afferma che oltre alla conoscenza proposizionale c’è anche quella prospettica, procedurale e partecipatoria – sono andato a cercare: l’ha enunciato John Vervaeke – e almeno la seconda e la quarta direi che manchino attualmente all’IA.

Gli ultimi due punti sono più filosofici ma probabilmente i più interessanti. Guardate la foto qui a destra, dove si è chiesto a un’IA di migliorare l’immagine pixelata. D’accordo, stiamo parlando di un esperimento fatto nel 2020, quindi più o meno nel giurassico: oggi forse il risultato sarebbe diverso; ma il concetto resta. Schwichtenberg dice “l’IA ci rende stupidi”, io preferisco dire che l’IA prende un concetto e te lo sterilizza, portandolo a un risultato che appare perfezionato ma non è quello che ci voleva. Mi ritrovo perfettamente quando lui confessa che quasi sempre scopre che l’idea dalla quale era partito per scrivere un pezzo non aveva senso, ma di solito mentre scrive, oltre che accorgersene, trova altre tre nuove idee. Certo, gli LLM quando entrano in “modalità ragionamento” imitano questo modo di operare, perché usano quello che hanno scritto come ulteriore input: ma per costruzione non possono ottenere nulla di nuovo, o meglio se lo fanno sono praticamente certe di arrivare a un’allucinazione. Noi umani (ok, tranne molti di quelli che scrivono sui social network) abbiamo invece un controllo inconscio che ci porta a fermarci e riprocessare tutto da un altro punto di vista, per vedere se l’idea iniziale non regge. Non avete idea di quanti post io abbia terminato in modo opposto a quanto pensassi all’inizio! Infine c’è il fatto che l’IA ti toglie la gioia di fare. Come scrivevo all’inizio, non c’è nulla di male a usarla per scrivere un report aziendale, a meno che voi non proviate un frisson nello sciorinare ovvietà ed edulcorare i pessimi dati che avete davanti. Ma se mi metto a scrivere un libro o anche soltanto un post io lo faccio perché mi piace farlo. Un’IA può darmi delle idee (nel caso del libro, ovviamente: mi verrebbe da ridere a dirle “mi consigli qualcosa su cui scrivere?”) ma poi la parte davvero divertente, anche se a volte frustrante, è mettersi a tradurre i pensieri in un flusso più o meno lineare. D’accordo, io sono quello che al liceo scriveva direttamente i temi in bella copia e li consegnava ben prima della fine del tempo: ma stiamo appunto parlando di creatività. Se uno non ama scrivere, allora usare un LLM non toglie gioia sempicemente perché non ce n’era già all’inizio.

Riusciranno i modelli IA a superare questi limiti? Secondo me con le architetture attuali no: vedremo che succederà.