Ein Nutzer, 7B bis 14B
32 GB System-RAM und 12 bis 16 GB VRAM sind ein brauchbarer Einstieg. Für einen neuen, dauerhaft laufenden Server sind 64 GB Gesamtspeicher und 1 bis 2 TB SSD flexibler.
Desktop und leichte API-NutzungEin Modell für mehrere Geräte
KI-Server für zuhause: Hardware für lokale LLMs
Ein lokaler KI-Server stellt ein Sprachmodell im eigenen Netzwerk bereit. Entscheidend sind genügend schneller Speicher, ein unterstütztes GPU-Backend, Dauerlast-Kühlung, eine große SSD und ein abgesicherter Zugriff – nicht ein klassischer Server-Prozessor allein.
Die passende Leistungsklasse
Welcher lokale KI-Server passt zu deinem Einsatz?
Modellgröße, gleichzeitige Anfragen und Kontextlänge bestimmen die Hardware. Jede aktive Sitzung benötigt zusätzlichen KV-Cache; mehrere Nutzer brauchen daher mehr Reserve als ein einzelner Chat.
Haushalt, 20B bis 32B
64 GB gemeinsamer Speicher oder eine GPU mit 24 bis 32 GB VRAM schaffen Platz für größere Quantisierungen. Reserviere Speicher für Kontext und parallele Clients.
Mehrere Geräte im Heimnetz70B und Entwicklungsdienste
128 GB Unified Memory sind die kapazitätsstarke Kompaktklasse. Ein RTX-5090-Tower ist bei Modellen innerhalb seiner 32 GB VRAM meist schneller, benötigt bei 70B aber Offload.
Große Modelle oder mehrere DiensteKapazität realistisch planen
Speicherbedarf nach Modell und Nutzung
Die Werte sind robuste Planungsbereiche für quantisierte Textmodelle, keine Garantie für jedes Modell. Architektur, Quantisierung, Kontextfenster, Bildfunktionen und Runtime verändern den Bedarf.
| Nutzung | Sinnvolle Hardware | Worauf es ankommt |
|---|---|---|
| 7B–14B, ein bis zwei Sitzungen | 12–16 GB VRAM; 32–64 GB RAM | vollständiger GPU-Offload, mindestens 1 TB SSD |
| 20B–32B, mehrere Clients | 24–32 GB VRAM oder 64 GB Unified Memory | Reserve für KV-Cache und lange Kontexte |
| 65B–70B, einzelne große Sitzung | 96–128 GB Unified Memory oder GPU-/RAM-Offload | Kapazität reicht nicht als Tempoaussage; Backend prüfen |
| 70B plus RAG und Automatisierung | 128 GB mit großzügiger Reserve; 2 TB SSD oder mehr | Modell, Embeddings, Index und weitere Dienste konkurrieren um Speicher |
Nutze den PC-Finder für eine erste Berechnung und den VRAM-Ratgeber für Quantisierung, Kontext und Offload.
Drei vollständige Hardwarewege
Konkrete Systeme für einen lokalen LLM-Server
Die Systeme lösen unterschiedliche Probleme. Prüfe auf der Zielseite immer die genaue RAM-, SSD- und GPU-Variante; ähnlich benannte Konfigurationen können deutlich abweichen.
Kapazitätsstarker Heimserver
MINISFORUM MS-S1 Max
128 GB Unified Memory, 2 TB SSD und zwei 10-GbE-Anschlüsse.
Warum als Server?
Die große gemeinsame Speicherkapazität passt zu vielen quantisierten 70B-Modellen. Zwei 10-GbE-Ports, ein zweiter M.2-Steckplatz und das interne Netzteil eignen sich für einen festen Platz im Heimnetz.
Vor dem Kauf
Die 128 GB sind fest verbaut. Bestätige die 128-GB-/2-TB-Version, das unterstützte Radeon-Backend, die mögliche UMA-Zuweisung und das Lüfterverhalten unter langer Inferenzlast.
- CPU / Grafik
- Ryzen AI Max+ 395 / Radeon 8060S
- Modellspeicher
- 128 GB LPDDR5X, gemeinsam
- SSD
- 2 TB; zweiter M.2-Steckplatz
- Netzwerk
- 2× 10GbE, Wi-Fi 7
Kompakter Mehrzweck-PC
GMKtec EVO-X2
64 GB Unified Memory, 1 TB SSD und 2,5-GbE in einem kleinen x86-System.
Warum als Server?
Eine kompakte Basis für 14B- bis 32B-Modelle, RAG im kleinen Umfang und einige Clients. Der zweite M.2-Steckplatz erleichtert eine getrennte Modell-SSD.
Vor dem Kauf
Für 70B ist diese 64-GB-Version zu knapp. Plane bei dauerhaftem Betrieb Kühlung, Energiesparzustände und einen kontrollierten Neustart nach Updates ein.
- CPU / Grafik
- Ryzen AI Max+ 395 / Radeon 8060S
- Modellspeicher
- 64 GB LPDDR5X, gemeinsam
- SSD
- 1 TB; zweiter M.2-Steckplatz
- Netzwerk
- 2,5GbE, Wi-Fi 7
Kompakte Business-Workstation
HP Z2 Mini G1a
64 GB Unified Memory, 2 TB SSD, 2,5-GbE und Ryzen AI Max+ PRO 395.
Warum als Server?
Das interne Netzteil, zwei M.2-Steckplätze, Thunderbolt 4 und die dokumentierte Business-Konfiguration passen zu einem zugleich als Arbeitsplatz genutzten Modellserver.
Vor dem Kauf
Auch hier sind 64 GB nicht für eine komfortable 70B-Nutzung gedacht. Prüfe A40MYET#ABD, die 2-TB-SSD, Garantiebedingungen und ob Windows- oder Linux-Betrieb zu deiner Runtime passt.
- CPU / Grafik
- Ryzen AI Max+ PRO 395 / Radeon 8060S
- Modellspeicher
- 64 GB LPDDR5X, gemeinsam
- SSD
- 2 TB; zwei M.2-2280-Steckplätze
- Anschlüsse
- 2× Thunderbolt 4, 2,5GbE, Wi-Fi 7
* Werbelink. Bei einem Kauf können wir eine Provision erhalten; dein Preis bleibt unverändert. Als Amazon-Partner verdienen wir an qualifizierten Verkäufen. Exakte Ausstattung, Verkäufer, Preis und Lieferbarkeit bitte auf der Zielseite prüfen.
Nicht nur GPU und RAM
Acht Merkmale eines guten KI-Servers für zuhause
Dauerlast-Kühlung
Ein kurzer Benchmark reicht nicht. Takt, Temperatur und Geräusch nach längeren Sitzungen sind wichtiger.
Leerlaufverbrauch
Ein rund um die Uhr erreichbares System verbringt viel Zeit ohne Inferenz. Energiesparzustände müssen stabil funktionieren.
2,5- oder 10-GbE
1 GbE reicht für Textantworten. Schnelleres LAN hilft bei großen Modellen, NAS-Daten und häufigen Transfers.
Mindestens 2 TB
Mehrere Quantisierungen, Embeddings und Dokumentindizes belegen schnell Hunderte Gigabyte.
Wiederanlauf
Autostart, Updates und ein kontrollierter Neustart sollten ohne angeschlossenen Bildschirm funktionieren.
Datensicherung
Modelle sind erneut ladbar; eigene Prompts, Indizes, Konfiguration und Dokumente gehören in ein Backup.
Stromschutz
Bei wichtigen Diensten schützt eine passende USV vor beschädigten Dateisystemen und abrupten Ausfällen.
Erweiterbarkeit
Ein zweiter SSD-Steckplatz und austauschbare Laufwerke sind wertvoller als ungenutzte Display-Anschlüsse.
Im Heimnetz sicher betreiben
Die Modell-API nicht direkt ins Internet stellen
Ollama lauscht standardmäßig nur auf 127.0.0.1:11434. Wenn du den Dienst für andere Geräte freigibst, behandle ihn wie jeden privaten Server: nur notwendige Netze zulassen, Firewall-Regeln setzen, Zugriff authentifizieren und Fernzugriff bevorzugt über ein VPN führen.
Zuerst lokal testen
Runtime, Modell und API auf dem Server selbst prüfen, bevor ein Port im Heimnetz erreichbar wird.
Clients begrenzen
Nur vertrauenswürdige Geräte oder ein eigenes VLAN zulassen. Eine offene API kann Modell- und Systemressourcen missbrauchen.
Datenwege prüfen
Plugins, Websuche, Telemetrie und externe Embedding-Dienste können Daten trotz lokalem Modell übertragen.
Häufige Fragen
Lokaler KI-Server in der Praxis
Brauche ich echte Server-Hardware für Ollama?
Nein. Für einen privaten Modellservice ist ein gut gekühlter Komplett-PC oft sinnvoller. GPU- oder Unified-Memory-Kapazität, Runtime-Support und SSD bestimmen die LLM-Nutzung stärker als ECC oder viele CPU-Kerne.
Kann ein Mini-PC als LLM-Server laufen?
Ja. 64- und 128-GB-Unified-Memory-Systeme sind besonders kompakt. Prüfe fest verbauten Speicher, Kühlung, Backend, Netzwerk, SSD-Erweiterung und Energieverbrauch im Leerlauf.
Wie viele Nutzer schafft ein lokaler KI-Server?
Das lässt sich nicht seriös nur aus dem Produktnamen ableiten. Modellgröße, Quantisierung, Kontext, gewünschte Antwortgeschwindigkeit und gleichzeitige Anfragen bestimmen die Kapazität. Plane für mehrere Clients deutlich mehr Speicherreserve ein.
Ist ein RTX-5090-PC oder 128-GB-Mini-PC besser?
Die RTX 5090 priorisiert Tempo bei Modellen, die in 32 GB VRAM passen. Ein 128-GB-System priorisiert große Modelle und Kontext, ist aber nicht automatisch schneller. Unser Systemvergleich zeigt beide Wege.
Technische Primärquellen
Runtime und Netzwerk selbst prüfen
Die Ollama-FAQ dokumentiert lokale Bindung und Netzwerkfreigabe. LM Studio beschreibt den Headless-Betrieb mit llmster. Hardware-Support kann sich ändern; gleiche die gewählte GPU vor dem Kauf mit der aktuellen Ollama-GPU-Liste ab.