Avrete sicuramente letto del nuovo modello IA di Anthropic, Claude Mythos: a parte la fuga di notizie della scorsa settimana, possiamo leggere qui e qui di come il rilascio della nuova versione di Claude sia stato posticipato per dare tempo di tappare tutte le falle di sicurezza che ha trovato (Immagino soprattutto in COBOL, visto che a essere più preoccupate sono le banche; poi vabbè, c’è l’implementazione di JavaScript di Firefox, ma lì mi sa che sia sparare sulla Croce Rossa. Un punto di vista possibile per valutare il caso è quello che scrive Andrea Monti, che continua a pensare che il software deve essere visto come un prodotto e non come un’opera intellettuale, e quindi chi lo produce deve essere responsabile degli errori in esso presenti: in questo caso non parliamo ovviamente di Mythos ma dei programmi fatti spesso con i piedi. Ma uno scettico come me vede le cose in maniera un po’ diversa.
Non arrivo a quanto scrive Mehul Gupta, che fa notare come per esempio è improbabile che Mythos sia molto migliore dei modelli precedenti in tutti i campi: anche Gemini 3 per esempio ha surclassato ChatGPT al prezzo di aumentare enormemente il numero di allucinazioni, e soprattutto che non ci sono molti dati reali divulgati, a differenza di quanto è sempre stato fatto. Per esempio, posso immaginare che un sistema di questo tipo possa essere in grado di trovare da solo (o quasi…) zero-day exploit, e anche di scrivere codice che un non esperto possa prendere e usare; sicuramente questo sarà un brutto colpo per gli esperti di cibersicurezza che si trovano un pericoloso concorrente. Ma come sempre io in questi casi mi affido a Gary Marcus. La prima cosa che fa notare è che non serve un LLM per trovare i bachi nel software: gli analizzatori di codice statico ci sono da decenni, e costano molto meno. Anthropic stessa dice che il costo totale per trovare il baco in OpenBSD è stato di 20000 dollari. È stata onesta: non ha considerato i 50$ del singolo lancio ma ha preso tutto il pacchetto di lanci all’interno del quale è stato trovato il baco. Ma è stanta anche reticente: quando afferma che più del 99% dei bachi che ha trovato non sono ancora stati corretti, e quindi non può descriverli, non specifica quanto sono gravi e sfruttabili in pratica. E come sempre non è chiaro quanto automatizzabile (con o senza IA) sia il controllo dell’output del sistema, e quanto invece richiede ancora un controllo umano. Io insomma rimango ad aspettare.
Ah: all’inizio parlavo del codice di Claude accidentalmente pubblicato in rete (secondo me la causa è stata un errore impercettibile delle IA). Sarà anche vero che ormai tutto il codice di Claude è scritto da Claude stesso, ma a quanto pare il risultato non è esattamente favoloso, con routine enormi, bachi che un qualche programmatore umano ha parzialmente tappato con il classico sistema informatico (chiudi tutto dopo un po’ che non funziona), e così via…

Quando si parla di scienza e di errori, le prime cose che vengono probabilmente in mente sono le ipotesi scientifiche false, come il geocentrismo oppure la generazione spontanea degli esseri viventi. Piero Martin però fa un discorso molto più ampio, raccontando gli errori a tutto campo. Per lui è “errore” la profezia di Hertz che disse che le onde elettromagnetiche che aveva scoperto non avevano nessun interesse pratico, ma anche la tavoletta di cioccolato sciolta per le onde elettromagnetiche emesse da un magnetron e che hanno portato al forno a microonde o la crostata al iimone rotta di Takahido Kondo. Poi ci sono gli errori di mancato coraggio di Giovanni Battista Riccioli, contemporaneo di Galileo che accettò di cambiare idea vedendo il risultato degli esperimenti che lui stesso fece, ma quando le evidenze erano incerte restò ancorato al vecchio metodo; gli errori di chi non volette credere a Ignác Fülöp Semmelweis che introdusse l’obbligo di lavarsi le mani negli ospedali quando ancora Pasteur non aveva fatto le sue scoperte, o quello delle autorità fasciste che non compresero che Ugo Tiberio aveva sviluppato il radar prima degli inglesi. L’unica cosa che non mi è piaciuta del libro è lo stile di Martin, che divaga spesso tornando poi improvvisamente al punto di partenza. La lettura almeno per me diventa più complicata.
