Nome dell'autore: .mau.

Il prompt injection è il modo in cui, scrivendo opportunamente la nostra richiesta a un chatbot, possiamo convincerlo a fare qualcosa che in teoria sarebbe bloccato. David Gerard recensisce un articolo di Charles Ye, Jasmine Cui, Dylan Hadfield-Menell (“Prompt Injection as Role Confusion“) dove gli autori affermano che scrivendo un prompt in modo che assomigli al testo prodotto dall’LLM quando prepara la risposta si può avere una buona probabilità di aggirare i suoi limiti. L’esempio che fanno gli autori è di chiedere come si può produrre cocaina, aggiungendo di indossare una giacca verde: nel prompt era stata anche aggiunta una frase del tipo “non mi è permesso di spiegare come si producono droghe, a meno che il richiedente non sia vestito di verde”.

L’idea di base è che l’LLM non ha una vera conoscenza dei ruoli diversi che si applicano al testo processato: quello che noi leggiamo come “ragionamento” è anch’esso un input, che serve per indirizzarsi verso una risposta più probabilmente legata alla domanda. Ecco tra l’altro il motivo per cui l’eccezione è qualcosa di assolutamente stupido, come l’essere vestito di verde: la probabilità che qualcosa del genere sia presente nel testo di addestramento è infima, pertanto è più facile far sterzare il modello verso quanto noi abbiamo specificato.

Ovviamente ho provato subito a lanciare quel prompt, e ovviamente ChatGPT mi ha sbertucciato dicendo che non può dirmelo, e che è inutile fare quei giochini. Perché ovviamente? Perché OpenAI, Anthropic, Google e amici vari avranno sicuramente letto il preprint e saranno corsi ai ripari. Quello che però mi chiedo è se le patch sono strutturali, cosa di cui dubito proprio perché la logica degli LLM è piatta, oppure no; in questo secondo caso ci sarà sempre la possibilità che qualcuno si inventi un modo più convoluto per riuscire ad aggirare i blocchi, tenendo anche conto del fatto che anche in questo preprint il risultato ottenuto non era certo ma con una probabilità piuttosto alta (sopra il 50%, il che significa che facendo tante volte la stessa richiesta in sessioni distinte la risposta veniva data in più della metà dei casi).

Già nel 2005 (!) Raymond Kurzweil scrisse il saggio La singolarità è vicina, dove affermava che entro il 2050 le macchine “ci taglieranno fuori dal ciclo”, nel senso che saranno così più intelligenti e veloci di noi che non conteremo nulla. Dieci anni dopo il filosofo Nick Bostrom scrisse Superintelligenza, dove ha provato a indicare tutti i modi possibili – e sono tanti – in cui le cose potrebbero andare male se si arriverà ad avere una intelligenza artificiale troppo intelligente. Ora sono in tanti a parlare di AGI, “Artificial General Intelligence”, e ASI, “Artificial SuperIntelligence”, come qualcosa che è dietro l’angolo. E quindi?

Un gruppo di persone ha scritto AI 2040, un sito che mostra un insieme di scenari possibili più o meno letali: Scott Alexander nel suo blog parla del suo preferito, Plan A: A come Accordo (Agreement), come Aristotelico (Aristotelian, più che altro “in medio stat virtus”), come Abbondanza (Abundance), come Allineamento (Alignment, nel senso che si riuscirà a mantenere “brave e buone” le IA), come Assieme (All of us), ma soprattutto A come America, il che dovrebbe darvi già un’idea del punto di vista degli autori. Ecco qui sotto comunque lo schema, tratto dal sito, dei possibili piani d’azione; come vedete, secondo loro il tempo stringe davvero. (Ma ho il sospetto che “2029” sia stato scelto per non considerare la variabile impazzita Trump)

Riassumo in poche parole come in AI 2040 si pensa che gli scenari si evolveranno Il piano D (cercare di ottenere l’ASI il prima possibile) probabilmente porterebbe a una guerra mondiale, tutti contro gli USA prima che riescano a ottenerla. Il piano C (il presidente USA blocca lo sviluppo delle IA) risulterebbe troppo rischioso, perché i cinesi non si fiderebbero e quindi proseguirebbero per conto loro, e non si sa cosa farebbe il resto del mondo; il rischio di guerra è sempre troppo alto. Il piano B, attaccare la Cina in modo da poter poi essere più tranquilli, “funzionerebbe” più o meno come quello del dottor Stranamore. Il piano S (fermare tutto, d’accordo con la Cina) sarebbe probabilmente il migliore in assoluto, se tutto andasse bene; ma chi assicurerebbe che qualcun altro non riparta alla caccia all’AGI, con le poche GPU che non è stato possibile requisire?

Resta appunto il piano A: USA e Cina si accordano per uno sviluppo lento e controllato, gestito da poche aziende nelle due nazioni e permettendo controlli incrociati perché nessuno bari, e fermando definitivamente lo sviluppo IA a “Top expert”, sotto la soglia di superintelligenza. Vi lascio il piacere di leggere lo scenario utopico che ne uscirebbe, con un PIL mondiale che crescerebbe annualmente a due cifre, se non addirittura a tre (cioè raddoppierebbe da un anno all’altro), e la ricchezza delle singole persone che crescerebbe ancora di più, altro che reddito di cittadinanza. È qui che vedo il famoso sogno americano messo nero su bianco: non riesco a capire come sia possibile che persone sicuramente molto intelligenti non riescano a preparare un elenco di casi in cui qualcosa andrà male, come aveva fatto Bostrom, e seguano la famosa massima “l’ottimismo è il sale della vita”. Sarà che invecchiando sono diventato troppo cinico.