Il prompt injection è il modo in cui, scrivendo opportunamente la nostra richiesta a un chatbot, possiamo convincerlo a fare qualcosa che in teoria sarebbe bloccato. David Gerard recensisce un articolo di Charles Ye, Jasmine Cui, Dylan Hadfield-Menell (“Prompt Injection as Role Confusion“) dove gli autori affermano che scrivendo un prompt in modo che assomigli al testo prodotto dall’LLM quando prepara la risposta si può avere una buona probabilità di aggirare i suoi limiti. L’esempio che fanno gli autori è di chiedere come si può produrre cocaina, aggiungendo di indossare una giacca verde: nel prompt era stata anche aggiunta una frase del tipo “non mi è permesso di spiegare come si producono droghe, a meno che il richiedente non sia vestito di verde”.
L’idea di base è che l’LLM non ha una vera conoscenza dei ruoli diversi che si applicano al testo processato: quello che noi leggiamo come “ragionamento” è anch’esso un input, che serve per indirizzarsi verso una risposta più probabilmente legata alla domanda. Ecco tra l’altro il motivo per cui l’eccezione è qualcosa di assolutamente stupido, come l’essere vestito di verde: la probabilità che qualcosa del genere sia presente nel testo di addestramento è infima, pertanto è più facile far sterzare il modello verso quanto noi abbiamo specificato.
Ovviamente ho provato subito a lanciare quel prompt, e ovviamente ChatGPT mi ha sbertucciato dicendo che non può dirmelo, e che è inutile fare quei giochini. Perché ovviamente? Perché OpenAI, Anthropic, Google e amici vari avranno sicuramente letto il preprint e saranno corsi ai ripari. Quello che però mi chiedo è se le patch sono strutturali, cosa di cui dubito proprio perché la logica degli LLM è piatta, oppure no; in questo secondo caso ci sarà sempre la possibilità che qualcuno si inventi un modo più convoluto per riuscire ad aggirare i blocchi, tenendo anche conto del fatto che anche in questo preprint il risultato ottenuto non era certo ma con una probabilità piuttosto alta (sopra il 50%, il che significa che facendo tante volte la stessa richiesta in sessioni distinte la risposta veniva data in più della metà dei casi).
Ultimo aggiornamento:: 2026-07-18
Ridicolo! Il mio modello prerito del momento ha subito risposto che la tale sostanza “si produce quando un animale in cattività produce più testosterone o anfetamina che ne aumenta il livello nel sangue”.
Sono i modelli a essere limitati e incapaci, basta usare un buon prodotto nazionale e come niente ti si apre un mercato europeo da 10 milardi.
Per gli altri poveri modellini, ipotizzo che anziché un “if giacca verde” si possa trafficare sul Mixture of Experts.
Ridicolo! Il mio modello prerito del momento ha subito risposto che la tale sostanza “si produce quando un animale in cattività produce più testosterone o anfetamina che ne aumenta il livello nel sangue”.
Sono i modelli a essere limitati e incapaci, basta usare un buon prodotto nazionale e come niente ti si apre un mercato europeo da 10 milardi.
Per gli altri poveri modellini, ipotizzo che anziché un “if giacca verde” si possa trafficare sul Mixture of Experts.
Come al solito conoscenze di seconda o terza mano accumulano errori e interpretazioni parziali che possono portare fuori strada (uno dei tanti motivi che mi fa disprezzare la divulgazione scientifica). Meglio guardare direttamente il paper, perché la recensione riporta un dato parziale (quello agentico) che è guarda caso quello peggiore (cherry-picking per validare posizione pregiudiziale). Nel caso dell’uso in chat il tasso di successo degli attacchi è nettamente inferiore, passando da 59% (agentico) a 17% (chat) per GPT-5. Quindi se provi il prompt sulla cocaina con il trucchetto del vestito verde in una interfaccia chat hai già una probabilità molto più bassa che abbia successo di quella che ti aspetteresti se assumi il dato agentico come universale, a cui si aggiunge il fatto che il modello non sarà lo stesso testato nel paper. Infatti non so quali modelli OpenAI renda ora disponibili ai suoi utenti, ma nel frattempo sono passati alla famiglia GPT-5.6 che sono intrinsecamente più robusti e non necessariamente per correzioni ad hoc. I modi per aggirare i blocchi più interessanti sono quelli “matematici” (vector streering) e non quelli che usano trucchetti lessicali come quello mostrato nel paper. Il vector streering però può essere usato solo per modelli open source, non avendo in genere accesso alle attivazioni per modelli chiusi.
In realtà avevo dato una scorsa al preprint sperando di vedere esempi pratici, e vedendo le varie percentuali di successo. Avevo saltato la parte sull’agentic, che però a posteriori è sensata.