Dove voglio arrivare

La tabella di marcia

1. Un motore deterministico, con prove che chiunque può ripetere

   Con limiti

   Fatto: il motore, le 16 prove, la ricerca su cosa esiste già e lo zip di verifica. Manca: che un'altra persona lo esegua davvero, e un confronto fra due macchine su un modello vero.

2. MOSAICO su un secondo computer e con un contesto più lungo

   Non avviato

   I risultati sull'80B vengono da un solo PC e da prompt brevi. Voglio ripeterli altrove e con testi più lunghi, perché è lì che la fatica cresce.

3. BUD-M0: una memoria compressa, provata su un modello già esistente

   Non avviato

   Prima di costruire un modello nuovo voglio sapere se l'idea di memoria funziona. Il banco di prova sarebbe Qwen3-0.6B su VELA-G: un archivio di fatti, misurato su quanto spazio occupa e quante volte il modello li ritrova senza inventare.

4. BUD-μ: un piccolo modello a 2 bit, tutto in numeri interi

   Non avviato

   Un modello minuscolo, esportato nel formato di VELA, che gira senza mai usare numeri decimali. Serve a imparare i problemi veri prima di scalare.

BUD: le idee

BUD sarebbe un modello costruito da zero intorno al mio tokenizzatore, con tre idee che oggi non esistono nei modelli che uso:

Memoria compressa

Le informazioni sul mondo in pochi gigabyte. I fatti precisi (date, nomi, numeri) in un formato esatto; il senso generale di un testo in un formato compresso con perdita. Il modello deve sapere quale dei due sta usando.

Prompt compressi

Invece di 10.000 token, 1.000: rappresentazioni sintetiche del testo (di solito si parla di compressioni da 4 a 16 volte), e lo stesso per la memoria di lavoro del modello durante la risposta.

Veridicità misurabile

Non posso promettere un modello che «sappia cosa è giusto e cosa è sbagliato». Posso misurare una cosa più modesta e verificabile: con che frequenza inventa. Questo è l'obiettivo che mi do.

Quanto può essere grande, su un PC come il mio

La velocità di risposta dipende dalla banda della memoria: la mia macchina ne ha circa 16,4 GB/s. Per scrivere 10 token al secondo ogni token può leggere al massimo circa 1,6 GB di pesi. A 2 bit per peso, sono circa 6 miliardi di parametri attivi. È un conto della sola banda: non tiene conto del calcolo, e non dice che un modello così sia buono.

Chi ci è già arrivato, in piccolo

Esiste già chi ha fatto un modello di circa 40 KB, a 2 bit, con calcoli solo interi, che genera testo su un vecchio processore Z80 con 64 KB di RAM (Z80-μLM di HarryR). Non è un modello da miliardi di parametri, ma mostra che la strada tecnica esiste.

I dati, per cominciare

Per addestrare il vocabolario e un primo modello partirei da testo italiano con licenza chiara: Wikipedia in italiano, Wikisource e opere di pubblico dominio. Il vocabolario sarebbe di circa 32.000 token e servirebbero circa 10 GB di disco. Non ho scaricato nulla.

I vincoli

• Nessuna scheda video e nessun budget per affittarne una. Tutto deve allenarsi e girare su un i5-4570 con 7,9 GiB di RAM.
• Ogni affermazione deve avere dietro una prova che si può ripetere.
• I miei programmi devono funzionare con i modelli del mondo, non solo con i miei.