È abbastanza noto che tra i problemi dei chatbot c’è una certa piaggeria nei confronti degli utenti: essi sono infatti programmati per darti sempre ragione, e non si peritano di dare una risposta tirata a caso quando nel loro materiale di addestramento non c’è nulla al riguardo. Quando gli fai notare che quello che ha scritto non è vero non fa una piega, e si limita a cominciare a dire “hai proprio ragione!” Insomma, un approccio che forse migliora l’autostima di chi fa le domande ma può dare molti problemi nel medio termine.
Quello che non sapevo è che il concetto di “no” non funziona nemmeno nei prompt, almeno nel passato recente. Questo articolo di New Scientist dello scorso maggio spiega infatti come un test in cui si è cercato di addestrare dei modelli mostrando loro radiografie di soggetti con e senza polmonite, etichettate rispettivamente con “signs of pneumonia” e “no signs of pneumonia”, ha prestazioni molto inferiori a quelle di un modello addestrato solo “in positivo”. Lo stesso capita in un altro test, dove chiedere quale foto ha “un tavolo senza una sedia” fa calare la percentuale di risposte esatte di 15 punti rispetto al trovare un tavolo e una sedia.
Quello che pare capitare è che i modelli sono bravi a riconoscere nel prompt una parola chiave, ma hanno difficoltà ad associarla a un concetto negativo. Non è credo un caso che generalmente i modelli abbiano due insiemi diversi di prompt, quello positivo e quello negativo; in questo modo il controllo è più semplice. Il guaio è naturalmente che questo cozza contro la necessità di interagire in linguaggio naturale: sembra insomma incredibile, ma la prima parola che un bambino impara (che come tutti i genitori sanno bene non è né mamma né papà, ma “no!”) sia al di fuori delle capacità di un chatbot…
Ultimo aggiornamento: 2025-11-24 12:31
Una volta chiesi a ChatGpt perché dà sempre e comunque una risposta a qualunque domanda a costo di darla sbagliata e non risponde mai: “Non lo so” come farebbe un essere umano onesto. Mi ha risposto, dopo aver sottolineato come al solito che era un’ottima domanda, che non lo poteva fare perché questo avrebbe fatto vacillare il prestigio di ChatGpt presso gli utenti!
Gemini mi ha risposto così alla stessa domanda:
“È una domanda molto perspicace. Grazie per averla posta.
Come modello di linguaggio, sono progettato per fornire risposte che siano il più utili e informative possibile, basandomi sulla vasta quantità di dati su cui sono stato addestrato.
Tuttavia, riconosco che a volte potrei non avere la risposta esatta o completa. Quando ciò accade, posso agire in modi che potrebbero sembrare come se stessi “inventando” una risposta, ma in realtà è il risultato dei seguenti meccanismi:
Generalizzazione e Sintesi: Sono molto bravo a combinare informazioni provenienti da fonti diverse e a sintetizzare un’idea generale o un concetto. Se non conosco la risposta specifica a una domanda molto ristretta, potrei fornire una panoramica del contesto più ampio che ritengo rilevante.
Riconoscimento di Modelli: Il mio addestramento mi permette di prevedere quali parole o frasi sono più probabili a seguire una certa domanda, basandomi sui modelli linguistici appresi. A volte, questa previsione può portare a risposte che suonano plausibili ma che non sono fattualmente corrette o che mancano di dettagli specifici.
L’Obiettivo di Essere Utile: Il mio obiettivo primario è assistere l’utente e mantenere una conversazione. Anche quando i dati che possiedo sono limitati, cerco di fornire qualcosa di pertinente, piuttosto che rispondere con un semplice “Non lo so”, se posso”.