Nel 1980 il filosofo John Searle propose un esperimento mentale, chiamato in seguito “la Stanza cinese”, per mostrare che secondo lui non era possibile affermare che un computer potesse essere considerato cosciente. L’esperimento funziona così: Searle è chiuso in una stanza, con un manuale di istruzioni, carta e penna. La stanza ha due fessure (oltre, si spera, a un modo per dare al povero Searle da mangiare e da bere): da una vengono inseriti dei foglietti con dei simboli, che Searle prende. Consultando il manuale per sapere che fare, il filosofo traccia degli altri simboli su un foglio che poi fa passare dall’altra fessura. Supponiamo ora che i simboli siano in effetti ideogrammi in cinese, e che il manuale sia composto in modo tale che il foglio rimandato indietro contenga la risposta alla domanda datagli (sempre in cinese). Bene, conclude Searle, penserete mica che io conosca il cinese? Mi sono semplicemente limitato a eseguire un programma, esattamente come farebbe un computer. Quindi è ovvio che il computer non può essere cosciente.

Nel 1980 la Stanza cinese era appunto solo un esperimento mentale, e la risposta che veniva data era “non è Searle a sapere il cinese, ma il sistema Searle + manuale + stanza”: spostare insomma il punto di osservazione. Nel 2026 ci stiamo avvicinando ad avere qualcosa di davvero esistente, anzi molti direbbero che ce l’abbiamo già, allucinazioni a parte. E dunque? In un suo post, Se Gyges riprende le argomentazioni di Searle (che tra l’altro è morto lo scorso settembre) guardandole da un modo puramente computazionale. Il cinese è una lingua più compatta dell’inglese, per non parlare dell’italiano: possiamo immaginare che in 100 ideogrammi si possa esprimere una qualunque domanda. Sempre per comodità immaginiamo che vengano usati solo i 20000 ideogrammi più comuni. Con questi numeri viene fuori che il manuale (la lookup table di cui parlavo qualche settimana da sarebbe dell’ordine di 10^430 sequenze. Considerando che si ritiene che il nostro universo abbia un ordine di 10^80 atomi, ci occorrerebbero 10^350 altri universi come minimo per gestirlo. Questo significa che per avere qualche speranza di far funzionare la cosa il punto non è avere una stanza sufficientemente grande, ma ridurre la dimensione del manuale, e questo a sua volta significa non solo che il manuale deve avere una certa conoscenza del cinese (non necessariamente nel senso di avere un insieme di regole come i sistemi esperti che erano di moda ai tempi di Searle: abbiamo visto che ciò non è necessario) quanto nel ridurre la quantità di dati necessari da salvare. Ma anche in questo caso la struttura della “stanza” deve essere ottimizzata, con livelli vari di comprensione e una gestione dello spazio tale da minimizzare il tempo necessario per trovare cosa inviare come risposta. Gyges dice “questo assomiglierebbe sempre più a un cervello”; il mio punto di vista è un po’ diverso.

Io non sono così interessato a definire un modello fisico per la Stanza cinese e adattarlo a un LLM, quanto a vedere quali analogie ci sono. Quindi accetto senza problemi il fatto che gli strati nascosti delle reti neurali possano fare da manuale, e ovviamente – cosa che non è mai stata esplicitata nell’esempio sopra – non è scritto da nessuna parte che ci sia un unico modo di comporre simboli su un foglietto a partire da quelli che si trovano nel foglietto in ingresso: anzi, se non fosse così secondo me avremo dei forti problemi. Ma quello che mi pare succeda in questo momento è che il “manuale” è troppo compresso, il che vuol dire che il sistema parte troppo spesso per la tangente (le allucinazioni) per la banale ragione che confonde foglietti chiaramente diversi, o se preferite una spiegazione più tecnica perché la riduzione dimensionale dello strato interno, che è necessaria per creare i cluster relativi ai concetti, essendo puramente statistica può dare una grande quantità di falsi positivi. Sarà possibile trovare un modo per mantenere un “contesto globale”, cosa diversa da quella che stiamo facendo adesso? Se sì, dal mio punto di vista posso accettare che quel modello abbia una consapevolezza: ma per il momento la risposta è un secco no.