Cosa ho costruito

NEXUS 2.0

Un assistente di intelligenza artificiale che lavora in locale. Si apre come un normale programma Windows, trova da solo i modelli già presenti sul computer (cartelle Download, Desktop, Documenti, Ollama) e sceglie il motore più adatto a quel PC.

Cosa fa

Misura il computer (RAM libera, velocità della memoria), controlla se il modello ci sta e lo avvia con VELA-G. Se serve usa llama.cpp come ripiego. Per le domande che richiedono dati recenti consulta il web: meteo, Wikipedia, notizie, DuckDuckGo. Ripete la stessa ricerca una volta sola per chat.

Regole che mi sono dato

Deve adattarsi a qualsiasi PC. Tutto deve partire dalla finestra, senza comandi. Deve essere compatibile con i modelli che usa il resto del mondo. E posso scrivere solo quello che ho verificato.

Limiti

La lista delle famiglie di modelli che NEXUS affida a VELA-G è prudente: cresce solo quando ho una prova. La decodifica speculativa è spenta di default (vedi le prove).

VELA e MOSAICO

VELA è il motore. MOSAICO è il nome con cui chiamo il modello da 80 miliardi di parametri (Qwen3-Next) convertito nel mio formato .jns: 48 GB su disco, eseguito su un computer con 8 GB di RAM.

Come funziona

Tiene in memoria solo gli esperti del modello che servono, con una cache per ogni strato, e legge gli altri dal disco in modo asincrono mentre calcola. I calcoli sono in interi a 8 bit con istruzioni AVX2.

Risultati

Circa 1,39 token al secondo in italiano e circa 3,3 GiB di RAM in più. Nei confronti con il modello a precisione piena, i token più probabili coincidono nel 91-96% dei casi in italiano e nel 100% in inglese e codice. Dettagli nelle prove.

Limiti

Un solo computer, prompt brevi, 32 token generati per prova. Sui modelli piccoli che stanno in RAM, Ollama è più veloce.

VELA-G

Il motore generale: legge i file GGUF delle famiglie llama, qwen2 e qwen3, in 13 tipi di pesi quantizzati. È l'unico dei miei motori pensato per i modelli che chiunque può scaricare.

Cosa lo distingue

Il calcolo è deterministico: stessi numeri su Windows e Linux, con o senza AVX2, con qualsiasi numero di thread. Per riuscirci ho riscritto exp, sin, cos e pow e fissato l'ordine di ogni somma. Il comando --hash stampa un'impronta SHA-256 dei risultati, così due persone possono confrontarsi.

Velocità

Nella risposta è alla pari con llama.cpp sui modelli più grandi (77%-102% sulle tre prove del 28 ottobre). Nella lettura del prompt arriva al 65-85% (il 27 ottobre era 23-45%): è ancora il punto che voglio migliorare.

Altro

Decodifica speculativa con un modello bozza piccolo, che verifica il testo prima di accettarlo: il testo finale resta identico.

Limiti

Provato su x86-64. Una versione senza AVX2 compila e supera le prove su Linux x86, ma ARM e macOS non li ho mai provati.

VELA-TOK

Il tokenizzatore: trasforma il testo in numeri e i numeri in testo. VELA-G lo usa, e le prove di determinismo controllano anche che produca gli stessi identificatori su ogni macchina. Sarà la base del vocabolario di BUD.

Pacchetto di verifica

Uno zip di circa 64 MB per chi vuole controllare senza fidarsi di me. Contiene il programma già compilato per Windows e per Linux x86-64, i quattro modelli di prova, il riferimento calcolato su Linux, i sorgenti, uno script che confronta tutto e un file con le impronte SHA-256 di ogni parte.

Come si usa è nella pagina Prove e risultati.

BUD

Un modello costruito da zero intorno a VELA-TOK, con una memoria compressa del mondo. Non c'è ancora codice né risultati. Le idee e i primi passi sono nella pagina Dove voglio arrivare.