Modelgewichten
Q4 gebruikt veel minder ruimte dan FP16. Door metadata en formaat betekent “4 bit” echter niet exact 0,5 byte per parameter.
Modelgeheugen helder uitgelegd
Hoeveel VRAM heb je nodig om een LLM lokaal te draaien?
Het snelle geheugen moet modelgewichten, contextcache, runtime en een veiligheidsmarge bevatten. Deze gids koppelt 8B-, 14B-, 32B- en 70B-klassen aan realistische capaciteiten en maakt onderscheid tussen RAM, VRAM en unified memory.
De bruikbare formule
Modelgewichten + KV-cache + runtime + reserve
Het aantal parameters is niet gelijk aan het geheugengebruik. Quantisatie verkleint de gewichten; een lange context, beeldverwerking en parallelle sessies voegen geheugen toe.
Gewichtenparameters × kwantisatie+KV-cachecontext × architectuur+Runtimebuffers en backend+Reservesysteem en andere tools
Contextcache
De KV-cache bewaart informatie uit de actuele context. Hij groeit met de contextlengte, actieve gesprekken en modelarchitectuur.
Inferentie-engine
Ollama, LM Studio en llama.cpp gebruiken werkbuffers. GPU-backend en het aandeel offloading veranderen het totaal.
Praktische reserve
Een configuratie die alleen op papier past is kwetsbaar. Besturingssysteem, desktop, RAG en andere diensten hebben ruimte nodig.
Waarden met reserve
Typisch geheugen voor gekwantiseerde tekstmodellen
De bereiken gaan uit van ongeveer Q4 en een normale reserve. Zeer lange context, MoE-modellen, vision of meerdere gebruikers kunnen meer vragen.
| Modelklasse | Indicatieve gewichten | Redelijk snel geheugen | Veelvoorkomend gebruik |
|---|---|---|---|
| 7B–8B | ongeveer 5–6 GB | 12–16 GB | chat, samenvatten, eenvoudige assistenten |
| 12B–14B | ongeveer 8–10 GB | 16 GB | algemene modellen en code |
| 20B–32B | ongeveer 14–22 GB | 24–32 GB | programmeren, RAG, agents |
| 65B–70B | ongeveer 40–45 GB | 64 GB minimaal; 96–128 GB ruimer | complexere taken en hogere kwaliteit |
| 100B–120B | ongeveer 65–80 GB | 96–128 GB of meer | professionele workloads |
“Het model past” betekent niet “het model is snel”. Geheugenbandbreedte, rekenkracht, runtime en offloading bepalen de doorvoer.
Kiezen op modelgrootte
Welke GPU past bij lokale AI?
De juiste GPU hoeft niet de duurste te zijn. Model en context moeten in snel geheugen passen en je software moet de gekozen backend betrouwbaar ondersteunen.
12–16 GB: praktisch begin
Geschikt voor veel gekwantiseerde 7B–14B-modellen. Vision, lange context en grotere modellen verkleinen de reserve.
Chat en eerste code-assistenten24–32 GB: snelheid
Een sterke klasse voor snelle 20B–32B. De RTX 5090 heeft 32 GB eigen VRAM; 70B vereist doorgaans offloading.
Code, RAG en agentsBekijk RTX 5090-pc's64–128 GB: capaciteit
Mini-pc's met unified memory en gespecialiseerde systemen kunnen gekwantiseerde 70B-modellen bevatten. Systeemreserve en backend blijven bepalend.
Grote modellen en lange contextVergelijk AI-mini-pc'sTwee geheugenarchitecturen
Toegewijde VRAM en unified memory zijn niet hetzelfde
Toegewijde VRAM
Dit geheugen zit rechtstreeks aan een losse grafische kaart. De hoge bandbreedte levert snelheid zolang de volledige workload past.
- hoge inferentiedoorvoer
- vaste, eenvoudig herkenbare capaciteit
- offloading naar RAM is vaak veel trager
Unified memory
CPU en geïntegreerde GPU delen één grote geheugenvoorraad. Grotere modellen passen, maar systeem en toepassingen gebruiken dezelfde ruimte.
- 64–128 GB in compact formaat
- controleer UMA- of VGM-toewijzing
- lagere bandbreedte dan grote losse GPU's
Veelgestelde vragen
Veelgemaakte fouten bij geheugenkeuze vermijden
Is 8 GB VRAM genoeg voor lokale AI?
Het kan voldoende zijn voor een kleine, goed gekwantiseerde 7B of 8B met beperkte context. Voor vision en lange context is de reserve klein.
Is 16 GB genoeg voor een lokale LLM?
Ja, voor veel 7B–14B-modellen. Een 32B, beeldencoder of zeer lange context kan deze capaciteit overschrijden.
Kun je VRAM uitbreiden?
De fysieke VRAM van een grafische kaart is normaal gesproken vast. Offloading naar RAM maakt grotere modellen mogelijk, maar verlaagt de snelheid.
Kan een 70B met 32 GB VRAM werken?
Vaak wel met sterke kwantisatie of gedeeltelijke offloading. Het model staat dan niet volledig in VRAM en de doorvoer kan sterk dalen.
Betekent 128 GB RAM dat de GPU 128 GB kan gebruiken?
Nee. Alleen sommige architecturen delen veel geheugen. Systeem, runtime en toepassingen behouden een deel; firmware en drivers kunnen de toewijzing beperken.
Is een NPU noodzakelijk?
Voor grote lokale LLM's tellen geheugencapaciteit, bandbreedte en backendcompatibiliteit doorgaans zwaarder dan het TOPS-getal van de NPU.
Van geheugen naar systeem
Bereken de passende klasse voor model en context
De pc-kiezer past deze principes toe, toont de aannames en vergelijkt de uitkomst met concrete systemen.