Memória rápida
Some pesos, cache KV por sessão, runtime e reserva do sistema. Mais usuários precisam de mais cache.
Seu modelo em todos os seus dispositivos
Como preparar um servidor de IA local em casa
Um servidor LLM doméstico precisa de memória suficiente, serviço estável, armazenamento confiável e acesso seguro pela rede. O PC adequado depende do modelo, dos usuários simultâneos e da disponibilidade desejada.
Quatro componentes
Dimensione o servidor para a carga real
Armazenamento
2 TB são um bom começo. Modelos, quantizações e índices de RAG podem exigir outro SSD ou NAS.
Rede
1GbE basta para texto. 2,5 ou 10GbE ajudam com documentos grandes, NAS e vários fluxos.
Carga prolongada
Avalie temperatura, ruído, consumo em repouso e fonte após uma sessão longa, não apenas em teste breve.
Quatro situações
Do servidor pessoal à workstation multiusuário
| Situação | Memória rápida | Rede | Sistema adequado |
|---|---|---|---|
| Uma pessoa, 7B–14B | 16 GB | Wi-Fi ou 1GbE | PC com GPU dedicada |
| Família, 20B–32B | 32–64 GB | 1–2,5GbE | PC com GPU ou mini PC de 64 GB |
| Vários clientes, 70B | 128 GB | 2,5–10GbE | GTR9 Pro, MS-S1 Max ou workstation |
| Serviço profissional | 48–96 GB de VRAM ou mais | 10GbE | workstation ou servidor dedicado |
Compacto com muita memória
Beelink GTR9 Pro
128 GB compartilhados e duas portas 10GbE atendem vários clientes ou um NAS rápido. Como a memória é soldada, a capacidade precisa ser escolhida de início.
Ler o guia do GTR9 ProMais portas e expansão
MINISFORUM MS-S1 Max
128 GB, duas portas 10GbE, quatro USB4 e PCIe x4 apoiam um posto fixo com armazenamento e periféricos.
Ler o guia do MS-S1 MaxSegurança na rede local
Não exponha a API diretamente à internet
“Local” não significa seguro por si só. Restrinja a escuta a localhost ou LAN, use autenticação, firewall e atualizações e separe documentos sensíveis de contas menos confiáveis.
Escuta limitada
Use apenas os endereços necessários.
Autenticação
Adicione tokens ou um proxy antes do runtime.
Sem redirecionamento de portas
Para acesso remoto, prefira uma VPN.
Atualizações e logs
Instale correções e investigue falhas sem guardar prompts sensíveis.
Perguntas frequentes
Usar um LLM na rede doméstica
10GbE torna o modelo mais rápido?
Não. A geração depende de cálculo e memória. 10GbE ajuda com arquivos grandes, NAS e vários clientes.
Posso usar pelo celular e pelo tablet?
Sim, por uma interface ou aplicação que alcance a API na LAN. Use autenticação também em casa.
Um mini PC pode funcionar continuamente?
Sim, se refrigeração, fonte e software forem estáveis. Confira temperatura e ruído em carga longa.
Preciso de Linux?
Nem sempre. Windows simplifica algumas aplicações; Linux costuma oferecer administração mais flexível. O suporte do runtime e dos drivers decide.
Comece pela memória
Calcule modelo, contexto e reserva necessária
O Finder converte essas escolhas em uma classe de hardware e mostra sistemas completos conforme sua prioridade.