Gewichte
Q4 benötigt grob deutlich weniger Speicher als FP16. Metadaten und Quantisierungsformat sorgen aber dafür, dass „4 Bit“ nicht exakt „0,5 Byte je Parameter“ bedeutet.
Modellspeicher verständlich erklärt
Wie viel VRAM braucht ein lokales LLM?
Die kurze Antwort: genug für Modellgewichte, Kontext-Cache und Reserve. Die längere Antwort zeigt dir konkret, welche Modellgrößen typischerweise zu 16, 32, 64 oder 128 GB passen – ohne Marketing-Zahlen mit nutzbarem Modellspeicher zu verwechseln.
Die einfache Formel
Gewichte + KV-Cache + Runtime + Reserve
Die Parameterzahl allein ist noch keine Speicherangabe. Entscheidend ist, wie viele Bits pro Gewicht gespeichert werden und was während der Nutzung zusätzlich im Speicher liegt.
ModellgewichteParameter × Quantisierung+KV-CacheKontext × Architektur+RuntimePuffer und Backend+ReserveOS und weitere Tools
KV-Cache
Er hält Informationen aus dem bisherigen Kontext. Lange Prompts, mehrere Sitzungen und manche Architekturen lassen ihn stark wachsen.
Runtime
Ollama, llama.cpp, LM Studio oder andere Backends benötigen Arbeitsbereiche. Implementierung und GPU-Offload beeinflussen den Bedarf.
Reserve
Ein Speicherpool, der rechnerisch gerade eben reicht, ist kein guter Kaufplan. Betriebssystem, Display und Zusatzdienste brauchen Luft.
Speicherbedarf mit Reserve
Typischer Bedarf quantisierter Textmodelle
Die Bereiche beziehen sich grob auf Q4-ähnliche Quantisierung plus übliche Laufzeitreserve. Langer Kontext, MoE-Architekturen, Bildencoder oder mehrere Nutzer können darüber liegen.
| Modellklasse | Gewichte grob | Sinnvolle schnelle Speicherklasse | Typischer Einsatz |
|---|---|---|---|
| 7B–8B | etwa 5–6 GB | 12–16 GB | Chat, Zusammenfassen, einfache lokale Helfer |
| 12B–14B | etwa 8–10 GB | 16 GB | bessere Allrounder, Coding-Einstieg |
| 20B–32B | etwa 14–22 GB | 24–32 GB | Coding, RAG, anspruchsvollere Assistenten |
| 65B–70B | etwa 40–45 GB | 64 GB oder mehr | hohe Modellqualität, komplexe Aufgaben |
| 100B–120B | etwa 65–80 GB | 96–128 GB oder mehr | professionelle Kapazitätsklasse |
„Passt in den Speicher“ bedeutet nicht automatisch „läuft schnell“. Bandbreite, Recheneinheiten, Backend und Offload-Verteilung bestimmen das Tempo.
Zwei Speicherwege
VRAM und Unified Memory sind nicht dasselbe
Diskreter VRAM
Eigener Speicher direkt an einer separaten GPU. Hohe Bandbreite und meist der schnellste Weg, solange das Modell hineinpasst.
- sehr gutes Inferenztempo
- klare, feste Kapazitätsgrenze
- Offloading kostet Leistung
Unified Memory
CPU und integrierte GPU teilen einen großen Pool. Mehr Modellkapazität ist möglich, aber Betriebssystem und Anwendungen nutzen denselben Speicher.
- 64 bis 128 GB in kompakten Systemen
- flexible UMA-Zuweisung wichtig
- Bandbreite unter High-End-VRAM
Häufige Fragen
Was Käufer oft verwechseln
Reichen 16 GB VRAM für lokale KI?
Ja, für viele 7B- bis 14B-Modelle in geeigneter Quantisierung. Für lange Kontexte, große Bildmodelle oder 32B-Modelle kann es eng werden.
Kann ich ein 70B-Modell mit 32 GB VRAM starten?
Oft ja, wenn ein Teil in den System-RAM ausgelagert oder stärker quantisiert wird. Es liegt dann aber nicht vollständig im VRAM; das kann die Geschwindigkeit deutlich reduzieren.
Sind 128 GB RAM automatisch 128 GB für die GPU?
Nein. Nur Systeme mit passender Unified-Memory-Architektur können einen großen Anteil gemeinsam nutzen. Betriebssystem und Runtime benötigen außerdem Reserve, und die maximal konfigurierbare UMA-Zuweisung ist zu prüfen.
Brauche ich eine NPU?
Für große lokale LLMs ist die NPU allein meist nicht das entscheidende Kaufkriterium. Relevant sind unterstützte Runtime, Speicherkapazität, Speicherbandbreite und GPU-Leistung.
Vom Speicherbedarf zur Auswahl
Berechne die passende Speicherklasse aus Modellgröße und Kontext
Der PC-Finder setzt diese Speicherlogik in eine verständliche Empfehlung um.