Memoria veloce
Somma pesi, cache KV per le sessioni, runtime e margine di sistema. Più utenti richiedono più cache.
Il tuo modello per tutti i dispositivi
Come progettare un server AI locale in casa
Un server LLM domestico deve offrire memoria sufficiente, servizio stabile, archiviazione affidabile e accesso di rete sicuro. Il computer giusto dipende da modello, utenti simultanei e livello di disponibilità desiderato.
Quattro componenti
Dimensiona il server in base al carico reale
Archiviazione
2 TB sono un buon inizio; modelli, quantizzazioni e indici RAG possono richiedere un secondo SSD o un NAS.
Rete
1GbE basta per le risposte testuali. 2,5 o 10GbE aiutano con grandi documenti, NAS e più flussi di dati.
Carico continuo
Valuta temperature, rumore, consumi in idle e alimentazione dopo una sessione lunga, non solo con un benchmark breve.
Tre configurazioni tipiche
Dal server personale alla postazione multiutente
| Scenario | Memoria veloce | Rete | Sistema adatto |
|---|---|---|---|
| Una persona, 7B–14B | 16 GB | Wi-Fi o 1GbE | PC con GPU discreta |
| Casa, 20B–32B | 32–64 GB | 1–2,5GbE | GPU PC o mini PC da 64 GB |
| Più client, 70B | 128 GB | 2,5–10GbE | GTR9 Pro, MS-S1 Max o workstation |
| Servizio professionale | 48–96 GB VRAM o più | 10GbE | workstation/server dedicato |
Compatto e capiente
Beelink GTR9 Pro
128 GB condivisi e doppia 10GbE lo rendono interessante per più client o un NAS veloce. La memoria saldata impone di scegliere subito la capacità corretta.
Leggi la guida al GTR9 ProPiù porte ed espansione
MINISFORUM MS-S1 Max
128 GB, doppia 10GbE, quattro USB4 e PCIe x4 supportano una postazione fissa con storage e periferiche. Lo slot non è equivalente a un PCIe x16 elettrico da tower.
Leggi la guida a MS-S1 MaxSicurezza della rete locale
Non esporre l’API direttamente a Internet
“Locale” non significa automaticamente sicuro. Limita l’ascolto a localhost o alla LAN, usa autenticazione, firewall e aggiornamenti, e separa i documenti sensibili dagli account meno fidati.
Bind limitato
Ascolta solo sugli indirizzi necessari.
Autenticazione
Usa token o un proxy davanti al runtime.
Nessun port forwarding
Preferisci VPN se serve accesso remoto.
Aggiornamenti e log
Applica patch e controlla errori senza registrare prompt sensibili.
Domande frequenti
Gestire un LLM nella rete domestica
La 10GbE rende più veloce il modello?
No, la generazione dipende dal calcolo e dalla memoria. La 10GbE aiuta nel trasferimento di grandi file, nell’uso di un NAS e con più client.
Posso usare il server da telefono e tablet?
Sì, tramite un’interfaccia web o un’app che raggiunga l’API nella LAN. Applica autenticazione anche su una rete domestica.
Un mini PC regge un servizio continuo?
Può farlo se raffreddamento, alimentazione e software restano stabili. Verifica temperature e rumore sotto un carico prolungato.
Serve Linux?
Non sempre. Windows può essere più semplice per alcune applicazioni; Linux offre spesso una gestione server più flessibile. Decide il supporto del runtime e dei driver.
Progetta dalla memoria
Calcola il modello, il contesto e la riserva necessari
Il Finder trasforma queste scelte in una classe hardware e mostra sistemi completi adatti alla tua priorità.