Autocomplete
Korte suggesties tijdens het typen. Lage vertraging telt meer dan een zeer groot model.
Plan: 8–16 GBLokaal coderen · privé-repository · eigen hardware
Begin bij het werk: snelle autocomplete vraagt iets anders dan een agent die een repository leest, bestanden wijzigt, tests uitvoert en minimaal 64K context vasthoudt.
Kort antwoord
Modelkwaliteit, snel geheugen, bruikbare context, betrouwbare tool calls en aanvaardbare doorlooptijd moeten samen kloppen.
Korte suggesties tijdens het typen. Lage vertraging telt meer dan een zeer groot model.
Plan: 8–16 GBCode uitleggen, tests schrijven en geselecteerde bestanden onderzoeken met 14B–32B.
Plan: 16–32 GBLeest, zoekt, wijzigt en voert opdrachten uit. Tools en minimaal 64K context staan centraal.
Plan: 24–32 GB of meerElke sessie voegt KV-cache en buffers toe. Een groot gedeeld geheugen levert vooral capaciteit.
Plan: 64–128 GBGeheugen vóór het AI-label
Dit zijn planningsbanden. Kwantisatie, contextcache, runtime, besturingssysteem en gelijktijdige sessies delen het geheugen.
| Klasse | Goede toepassing | Praktisch modelpad | Belangrijkste grens |
|---|---|---|---|
| 12–16 GB VRAM | Autocomplete en gerichte chat | Gekwantiseerde 7B–14B-modellen | Grote repositories en lange context gebruiken de reserve snel. |
| 24 GB VRAM | Eén capabele agent | Veel gekwantiseerde 20B–30B-modellen | 64K context kan een passende configuratie krap maken. |
| 32 GB VRAM | Snelle agents en zwaardere codetaken | Sterke 20B–32B-klasse met extra cache | 70B-gewichten vereisen meestal offload. |
| 64–128 GB unified memory | Grote modellen, lange context, meerdere diensten | Capaciteitsgericht van 32B tot gekwantiseerde 70B | Een passend model is niet automatisch even snel als op een losse GPU. |
Nuttig referentiemodel
De officiële modelkaart noemt 30,5 miljard parameters totaal, 3,3 miljard actief en 262.144 tokens native context. Bij mixture-of-experts beschrijft actief de berekening per token; alle expertgewichten moeten toch worden geladen.
Werkelijke agentcontext
Agents voegen toolschema’s, bestandsfragmenten, opdrachtuitvoer en geschiedenis toe. Meerdere sessies vermenigvuldigen de cache.
Agent en model zijn aparte keuzes
Terminalagent die kan lezen, wijzigen en opdrachten uitvoeren.
Voor:repositories en terminalLokale installatieIDE-extensie met aparte rollen voor chat, edit en autocomplete.
Voor:VS Code en JetBrainsOfficiële gidsIDE-agent met ondersteuning voor lokale modellen.
Voor:begeleid werk in de editorOfficiële gidsGit-bewuste pair programmer in de terminal.
Voor:gerichte wijzigingenOfficiële gidsEen RTX 5090 heeft 32 GB snelle VRAM en verkort wijzig–test-lussen wanneer model en context volledig passen.
Een Ryzen AI Max+ 395 met 128 GB houdt grotere gekwantiseerde modellen en meer context vast. Dat is capaciteit, geen belofte van RTX 5090-snelheid.
Een lokaal model kan gevaarlijke tools uitvoeren
Lokale inferentie beschermt de promptverwerking, niet automatisch bestanden of toegestane opdrachten.
Commit vooraf en werk in een omkeerbare branch of worktree.
Houd sleutels en productiegegevens buiten de toegankelijke map.
Werk niet als beheerder en controleer gevoelige opdrachten.
Bekijk de diff en voer tests, lint en beveiligingschecks uit.
Drie paden naar een complete pc
| Prioriteit | Systeem | Sterkte | Controleren |
|---|---|---|---|
| Snelle agent | RTX 5090-tower | 32 GB losse VRAM en CUDA | Exacte desktop-GPU, 64 GB+ RAM, koeling en voeding |
| Grote capaciteit | Beelink GTR9 Pro of MS-S1 Max | 128 GB unified memory in klein formaat | 128GB-versie, grafische toewijzing, OS en backend |
| NVIDIA-appliance | ASUS Ascent GX10 | 128 GB coherent geheugen en NVIDIA-omgeving | Arm64/Linux-compatibiliteit van elke afhankelijkheid |
Primaire documentatie
Architectuur, parameters, context en tools in de officiële modelkaart.
Direct starten en lokale context in de officiële gids.
Ollama-endpoint en toolproblemen in de officiële documentatie.
Gebruik de pc-kiezer met modelklasse en context.
Test een echte taak
Meet eerst of de tests slagen en bepaal daarna of model, context of hardware de grens vormt.