Una decina di giorni fa, la società cinese Kimi ha presentato il suo modello K3; esso è basato sulle loro versioni di Delta Attention e Attention Residuals, ha 2800 miliardi di parametri e usa un contesto di un milione di token. Io non sono riuscito ad accedervi: diceva sempre di essere al massimo delle sue capacità e poi ha persino bloccato le iscrizioni a pagamento, e quindi non posso dare un giudizio: Alberto Romero ne tesse le lodi, ma non so quanto derivi dai benchmark pubblicati e quanto sia un suo giudizio sul campo. Posso solo dire che la vecchia versione 2.6 si è comportata molto male sul mio benchmark narcisistico: si è inventato praticamente di tutto, dai titoli di libri che avrei scritto (titoli che esistono, ma sono di altre persone) alla rubrica del Post “Orsù, spiegateci le cose” che però ci fa capire come le “cose spiegate bene” non siano solo un nostro tormentone.

La parte più interessante, almeno per me, è quella che afferma che sarei «Noto per l’umorismo, la curiosità intellettuale e la capacità di spiegare concetti complessi senza snaturarli». Notate nulla di strano? è l’effetto oroscopo applicato alle descrizioni delle persone. Avendoci più o meno acchiappato nel definirmi un divulgatore scientifico, Kimi ha direttamente applicato le caratteristiche stereotipali di un divulgatore, che per definizione spiega concetti complessi senza snaturarli – ok, non è sempre così, ma quello è appunto ciò che si dice di un divulgatore – ed è un tipo curioso, anche perché altrimenti sarebbe incasellato come insegnante e non divulgatore. Resta la categoria “umorismo”, che tra l’altro non si applica al sottoscritto: io sono ironico, non umorista, le mie battute sono nascoste così bene all’interno dei post che se non mi si conosce non le si trova. Perché un divulgatore dovrebbe avere senso dell’umorismo, allora? Ho provato a chiedere a Claude, che mi ha dato una risposta direi molto sensata e soprattutto bayesiana. Tu hai un sistema che fondamentalmente cerca i risultati con probabilità maggiore. Stai parlando di una categoria dove ad avere una certa fama mediatica sono in ben pochi. Secondo voi, se qualche divulgatore viene inopinatamente scelto per passare in televisione oppure ha un canale YouTube o TikTok con tanti iscritti, come viene scelto (dai produttori oppure dagli utenti)? Perché ha uno stile leggero. Poi magari dice castronerie, la pop-math non è così facile da gestire, ma questo è irrilevante. Il punto è che la probabilità a posteriori per un divulgatore di avere dell’umorismo dato che è noto cresce, e quindi un LLM per definizione lo dà come assodato.

Le morali sono due. La prima è che almeno per le nozioni locali non mi fiderei mai molto di un nuovo contendente nell’arena degli LLM, perché non è detto che il suo addestramento sia così specifico; la seconda è di leggere attentamente le risposte date per vedere se paiono vere solo perché sin troppo generiche.