Nome dell'autore: .mau.

Dopo più di un mese dall’attacco degli agenti di OpenAI contro HuggingFace se ne parla ancora molto. Gary Marcus ha raccolto alcune analisi e aggiunto le cinque lezioni che secondo lui si possono trarre. La prima è un’ovvietà: le IA possono dare problemi di sicurezza. È un’ovvietà anche perché trovare bachi di sicurezza è probabilmente alla pari con la generazione di codice il segmento di mercato più interessante, e quindi gli LLM sono ottimizzati per farlo bene. La seconda lezione è che non bisogna però esagerare il rischio della perdita di controllo: se OpenAI avesse fatto le cose per bene, non sarebbe successo nulla. Le sandbox, cioè gli ambienti di test, usati da OpenAI non erano evidentemente le più sicure esistenti sul mercato. La terza lezione, di nuovo ovvia per chiunque si sia occupato di cybersicurezza, è che le sandbox da sole non bastano e occorre come minimo un sistema di monitoraggio esterno e indipendente: per esempio, l’attacco a HuggingFace è avvenuto due giorni dopo che gli agenti OpenAI erano riusciti a uscire dalla sandbox e girare per Internet. Un monitoraggio avrebbe dovuto notare il traffico in rete non previsto e dare l’allarme. Perché questa lezione è ovvia? Perché uno degli assunti di base della cybersicurezza è “mai fidarsi di un singolo sistema di prevenzione”. La perfezione non esiste, quindi è meglio avere cintura e bretelle insieme: se una si rompe resta ancora l’altra. Questa è la quarta lezione: ci sono anche altri sistemi di controllo, come far passare tutto il traffico attraverso un proxy che abilita solo l’uscita verso siti specifici, oppure lasciare dei “canarini”, cioè dei file con una risposta sbagliata al task chiesto agli agenti. Se i canarini non dovrebbero essere raggiunti ma l’IA generativa dà la risposta trovata lì vuol dire che c’è qualcosa che non va. La quinta e ultima lezione è che tutte queste cose sono note da molti anni, e il fatto che i ricercatori di OpenAI non abbiano pensato di implementarle è un vero problema. Probabilmente, aggiunte Marcus, bisogna ripensare le responsabilità legali di chi produce questi sistemi, per dar loro qualche incentivo pratico a mettere in campo le misure di sicurezza.

I miei due cent? Qui si sta giocando troppo all’apprendista stregone. Abbiamo solo un’idea generica di come funziona l’IA generativa, e quello che è peggio è che anche chi la sviluppa non ne sa molto di più. Perché dobbiamo lasciarla vagare libera pensando che tanto siamo in pieno controllo? Più che della singolarità io sono preoccupato di una catastrofe che arrivi “per sbaglio”…