Modelli linguistici su un PC senza scheda video, con risultati che si possono ricontrollare
Costruisco NEXUS, un assistente di intelligenza artificiale che gira sul computer di casa, e i motori in C che eseguono i modelli. Qui racconto cosa ho fatto, cosa ho misurato, cosa non so ancora e dove voglio arrivare.
| Modello | 1 thread | 4 thread | 3 thread, senza AVX2 | 1 thread, senza AVX2 |
|---|---|---|---|---|
| llama Q3_K_M | ||||
| llama Q6_K | ||||
| qwen2 Q4_0 | ||||
| qwen3 Q4_K_M |
Misure del 27 e 28 ottobre 2026
In breve
Il mio PC ha un Intel Core i5-4570 (4 core), 7,9 GiB di RAM, Windows 10 e nessuna scheda video. Non ho i soldi per affittarne una. Da qui nasce il progetto: far funzionare i modelli che esistono, il più possibile, su una macchina così.
Ho scritto in C due motori. VELA esegue un modello da 80 miliardi di parametri (Qwen3-Next) che occupa 48 GB su disco, in 8 GB di RAM. VELA-G esegue i file GGUF di uso comune, quelli che si scaricano per llama.cpp e Ollama.
La cosa di cui sono più sicuro è il determinismo: VELA-G produce gli stessi numeri su Windows e su Linux, con 1 o 4 thread, con o senza le istruzioni AVX2. La cosa da migliorare è la velocità con cui legge il prompt: il 27 ottobre era al 23-45% di llama.cpp, dopo il lavoro del 28 ottobre è al 65-85%. Nella risposta è alla pari sui modelli più grandi.
Limiti. I test di determinismo usano quattro modelli piccoli con pesi casuali e girano solo su processori x86-64. ARM e macOS non li ho provati. Un confronto fra due macchine diverse su un modello vero è ancora da fare.
Cosa significano i segnalini: misurato ha una prova con numeri, con limiti funziona ma ha limiti noti, non avviato è solo un piano.
Stato dei progetti
| Progetto | Cosa fa | Stato |
|---|---|---|
| NEXUS 2.0 | Assistente locale per Windows. Controlla il PC e sceglie da solo il motore giusto. | In uso |
| VELA e MOSAICO | Motore per il modello da 80 miliardi di parametri in 8 GB di RAM. | Con limiti |
| VELA-G | Motore generale per modelli GGUF, con calcolo deterministico. | Con limiti |
| VELA-TOK | Tokenizzatore scritto in C. | In uso |
| Pacchetto di verifica | Uno zip con tutto il necessario per ripetere le prove su un altro computer. | Con limiti |
| BUD | Un modello nuovo, con memoria compressa, costruito intorno al mio tokenizzatore. | Non avviato |
Sei pagine, in quest'ordine si leggono meglio.
Dove leggere il resto
- Cosa ho costruitoOgni progetto: cosa fa, com'è fatto, quali sono i limiti.
- La storiaLe tappe in ordine, compresi gli errori che ho corretto.
- Prove e risultatiTutte le misure, come ripeterle e cosa non dimostrano.
- Dove voglio arrivareLa tabella di marcia e le idee per BUD, dette come ipotesi.
- AdessoSu cosa sto lavorando oggi e cosa è fermo.
PROGETTO CORRELATO
Anche NEXUS Console
Accanto alla famiglia di strumenti per l’IA locale, sviluppo NEXUS Console: un progetto separato dedicato a librerie di retrogaming, configurazioni e avvio dei giochi. Sono due percorsi distinti.
Laboratorio NEXUS · 28 ottobre 2026. Dati, verifiche e limiti sono descritti nelle singole pagine.
Contatti: sradraven@sradraven.com · Tutti i progetti tecnologia & IA