Große Modelle
128 GB LPDDR5X bieten Platz für viele quantisierte 70B-Modelle samt brauchbarer Reserve. Wie viel davon die GPU nutzen kann, hängt von BIOS, Betriebssystem und Runtime ab.
128-GB-Mini-PC mit schnellem Netzwerk
Der GTR9 Pro verbindet Ryzen AI Max+ 395 und 128 GB Unified Memory mit zwei 10GbE-Anschlüssen. Damit ist er besonders interessant als kompakter Modellserver, der große quantisierte Modelle für mehrere Geräte im Heimnetz bereitstellt.
Kurzfazit
128 GB LPDDR5X bieten Platz für viele quantisierte 70B-Modelle samt brauchbarer Reserve. Wie viel davon die GPU nutzen kann, hängt von BIOS, Betriebssystem und Runtime ab.
Zwei 10GbE-Ports heben den GTR9 Pro von vielen kompakten 395-Systemen ab. Das ist sinnvoll für schnelles NAS, mehrere Clients oder getrennte Daten- und Verwaltungsnetze.
Vapor-Chamber und zwei Lüfter sind auf hohe Dauerleistung ausgelegt. Trotzdem sollten Aufstellort, Geräuschpegel und freie Luftzufuhr zum geplanten Betrieb passen.
Hardware
Passende Nutzung
Gut für: quantisierte 70B-Modelle, große RAG-Bestände, einen zentralen LLM-Dienst im Heimnetz und Nutzer, die schnelle Netzwerkanschlüsse höher gewichten als das flachste Gehäuse.
Weniger passend: maximale Tokenrate mit kleinen Modellen, komplett lautloser Betrieb oder Workloads, deren Software zwingend CUDA voraussetzt.
Vor dem Kauf
RAM und SSD müssen ausdrücklich 128 GB und 2 TB nennen. Der LPDDR5X-Speicher ist nicht austauschbar.
Prüfe für das vorgesehene Linux die Treiberunterstützung des 10GbE-Controllers. Für einen unbeaufsichtigten Server zuerst Netzwerkstabilität und Energiesparzustände testen.
Vulkan und HIP/ROCm entwickeln sich weiter. Verifiziere vorab, ob deine konkrete Anwendung, Quantisierung und Betriebssystemversion den gewünschten GPU-Pfad unterstützt.
Von 128 GB gehen Betriebssystem, Runtime, KV-Cache und parallele Dienste ab. Der vollständige Pool steht nicht allein für Modellgewichte bereit.
Bei langen Inferenzläufen Luftwege freihalten. Für einen Wohnraum lohnt ein Test der Leistungsprofile und des Geräuschpegels unter echter Dauerlast.
Alternativen
Der GTR9 Pro spielt seine Stärke als schneller Modellserver im Heimnetz aus. Der EVO-X2 bietet denselben Prozessor und ebenfalls bis zu 128 GB, ist flacher und eignet sich gut für den klassischen Schreibtisch. Die Z2 Mini G1a ergänzt Workstation-Service und ein internes Netzteil.