Rodar IA local sempre foi um pé no saco. Até agora.

Se você já tentou rodar um LLM na sua máquina, sabe como é a história: compra uma RTX 4090 com 24GB de VRAM, descobre que o modelo que você quer rodar precisa de 48GB, aí começa o malabarismo com offloading para CPU, a inferência cai para 2 tokens por segundo, e você acaba voltando para a API do ChatGPT com o rabo entre as pernas.

A AMD decidiu resolver isso de um jeito que ninguém esperava: enfiou 128GB de memória unificada LPDDR5x dentro de um mini PC do tamanho de um livro, colocou o preço em US$ 3.999 e chamou de Ryzen AI Halo. As reviews saíram hoje (6 de julho de 2026) e os números são, no mínimo, interessantes.

O que diabos é o Ryzen AI Halo?

Não é uma placa de vídeo. Não é um notebook. É um mini PC completo, pronto para ligar na tomada, com 150 x 150 x 45mm de dimensão (sim, cabe na palma da mão) e 1,2kg de peso. Dentro dele vive o processador AMD Ryzen AI Max+ 395, que é o chip Strix Halo em sua forma mais parruda.

Vamos ao que interessa:

Aquele número de 128GB de memória unificada é o que faz toda a diferença. CPU e GPU compartilham o mesmo pool de memória, então você consegue carregar modelos enormes inteiramente na GPU sem fazer offloading. Isso muda completamente o jogo para quem trabalha com LLMs locais.

Benchmarks: os números que importam

Eu sei que especificação no papel é conversa de marketing. Vamos direto para o que roda de verdade.

Inferência de LLMs (tokens por segundo)

Pra contextualizar: 30 tokens por segundo em um modelo de 70 bilhões de parâmetros rodando 100% local, sem cloud, sem API, sem latência de rede. Compare isso com a RTX 4090 que, com o mesmo Llama 3.3 70B, precisa fazer offloading para CPU porque só tem 24GB de VRAM, e entrega miseráveis 2 a 5 tokens por segundo.

O segredo não é que a GPU do Halo seja mais rápida (ela não é). É que os 128GB de memória unificada permitem que o modelo inteiro fique na GPU, sem gargalo de transferência CPU/GPU. Velocidade de inferência em LLMs é, na prática, um problema de bandwidth de memória, não de compute.

Comparação com a concorrência

*O asterisco aqui é proposital. O DGX Spark e o Mac Studio são mais rápidos em inferência pura, mas custam mais. E tem um detalhe importante que a tabela sozinha não mostra.

O elefante na sala: por que não comprar um GMKtec por US$ 1.500?

Se você prestou atenção na tabela acima, deve estar se perguntando: “por que pagar US$ 4 mil no Halo se o GMKtec EVO-X2 usa o mesmo chip, tem 128GB de RAM e custa US$ 1.500?”

Pergunta justa. A resposta curta: software e suporte.

O Ryzen AI Halo vem com o stack de software da AMD pré-configurado. Isso inclui:

• AMD AI Playbooks: guias e scripts prontos para deploy de modelos
• ROCm otimizado: o backend de compute da AMD, já configurado para o hardware
• Atualizações diretas da AMD: firmware, drivers e otimizações específicas
• Suporte enterprise: SLA, documentação, canal direto com engenheiros

Para quem é dev e sabe configurar ROCm na mão (spoiler: não é trivial), o GMKtec resolve. Para empresas que precisam de algo turnkey, o Halo faz sentido. É a diferença entre comprar peças e montar seu PC versus comprar um Mac pronto: o hardware é parecido, mas a experiência é diferente.

AMD vs NVIDIA DGX Spark: a briga dos US$ 4 mil

A comparação inevitável é com o NVIDIA DGX Spark, que usa o chip GB10 (Grace Blackwell). Ambos miram no mesmo mercado: devs e pesquisadores que querem rodar IA local sem alugar GPU na cloud.

Onde o Halo ganha:

• Preço: US$ 3.999 vs US$ 4.700 do DGX Spark
• x86 nativo: roda Windows e Linux sem emulação, compatível com todo software existente
• A AMD afirma 4% a 14% de vantagem em benchmarks específicos de IA

Onde o DGX Spark ganha:

• Ecossistema CUDA: a maioria dos frameworks de ML é otimizado primeiro para NVIDIA
• Networking: o DGX Spark vem com ConnectX-7 para clustering, o Halo tem “apenas” 10GbE
• Software maturo: CUDA tem 18 anos de otimização, ROCm ainda está correndo atrás

Onde o Mac Studio M4 Ultra ganha dos dois:

• Bandwidth de memória: 546 GB/s vs ~215 GB/s do Halo. Para inferência de LLMs, isso é rei.
• Ecossistema Apple (MLX, Core ML) é surpreendentemente bom para inferência
• Mas custa US$ 4.999 pela versão 128GB

A real é que cada um tem seu nicho. Se você vive no mundo CUDA, o DGX Spark faz mais sentido. Se quer o melhor custo-benefício em hardware puro, o GMKtec com Strix Halo por US$ 1.500 é imbatível. Se quer a melhor experiência turnkey com x86, o Halo é a escolha.

O stack de software: ROCm, Vulkan e a bagunça linda

Rodar LLMs no Halo não é simplesmente “instalar o Ollama e pronto”. Existem dois caminhos principais, e a escolha entre eles importa mais do que parece.

Caminho 1: Vulkan (RADV)

O backend Vulkan via driver Mesa RADV é, hoje, o caminho mais estável e mais rápido para inferência com llama.cpp no Strix Halo. Os benchmarks de 100 t/s no Qwen3-30B foram todos com Vulkan. A vantagem é que funciona out-of-the-box no Linux sem precisar instalar o stack ROCm inteiro.

# Compilar llama.cpp com Vulkan
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release

# Rodar inferência
./build/bin/llama-cli -m qwen3-30b-a3b-iq4_xs.gguf \
  -p "Explique containers Docker" \
  -ngl 99 --threads 16

Caminho 2: ROCm (HIP)

O ROCm é o equivalente AMD do CUDA. Funciona, mas precisa de um truque: o Strix Halo ainda não tem suporte nativo no ROCm, então você precisa forçar a versão do GFX:

# O truque mágico
export HSA_OVERRIDE_GFX_VERSION=11.5.1

# Com isso, ROCm funciona e o throughput praticamente dobra
# comparado com CPU-only

Com ROCm habilitado, o throughput praticamente dobra em relação ao modo CPU-only. Porém, na comparação direta com Vulkan (RADV), os resultados são bem próximos, com Vulkan levando vantagem em estabilidade.

Ollama e LM Studio

Se você não quer mexer com compilação, tanto o Ollama quanto o LM Studio funcionam no Halo. O Ollama em particular já detecta a GPU AMD automaticamente e usa o backend correto.

# Instalar Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Rodar um modelo de 70B sem medo
ollama run llama3.3:70b

# Verificar se está usando GPU
ollama ps
# Deve mostrar: GPU 100%

A beleza de ter 128GB de memória unificada é que você pode rodar ollama run com modelos que normalmente exigiriam uma A100 de US$ 15 mil. Sem offloading, sem gambiarras.

Para quem vale a pena (e para quem não vale)

Vou ser direto.

Vale a pena se você:

• Trabalha com IA e precisa testar modelos localmente, sem depender de APIs
• Quer rodar modelos de 70B+ com velocidade usável (30+ t/s)
• Precisa de privacidade total (dados nunca saem da sua máquina)
• É uma empresa que quer um kit de desenvolvimento turnkey para IA
• Quer uma workstation compacta e silenciosa para IA (120W TDP vs 350W+ de um desktop com RTX 4090)

Não vale a pena se você:

• Só precisa rodar modelos de 7B/8B: uma RTX 4060 de US$ 300 resolve
• Precisa de treinamento de modelos: o Halo é forte em inferência, não em fine-tuning pesado
• Já tem um setup com RTX 4090/5090 e modelos que cabem nos 24GB
• Quer o melhor custo-benefício absoluto: o GMKtec EVO-X2 tem o mesmo chip por US$ 1.500

A conta do custo cloud vs local

Vamos fazer a conta rápida. Uma GPU A100 na AWS (instância p4d.xlarge) custa aproximadamente US$ 4 por hora. Se você usa 4 horas por dia, 20 dias por mês:

4 × 4 × 20 = US$ 320/mês

O Ryzen AI Halo custa US$ 3.999 + ~US$ 10/mês de energia elétrica (120W × 6h/dia). Em 13 meses, o hardware se paga. Depois disso, é lucro líquido.

Para startups e devs indie que trabalham com IA, a matemática é clara: comprar o hardware local faz sentido se você vai usar por mais de um ano. E quem trabalha com IA sabe que um ano é só o começo.

O que a AMD está tentando fazer aqui

O Ryzen AI Halo não é só um produto. É uma declaração de intenções.

A AMD está dizendo: “ei, NVIDIA, você não é a única opção para IA local”. E está dizendo para a Apple: “ei, seu Mac Studio é legal, mas roda x86? Não. O meu roda.”

O chip Strix Halo (Ryzen AI Max+ 395) já existia em laptops e mini PCs de terceiros. O que a AMD fez com o Halo foi pegar esse chip, empacotar em um formato bonito com software pré-configurado, e vender como developer kit. É a mesma estratégia que a Apple usa com o Mac Mini: hardware bom + software otimizado + experiência integrada.

A diferença é que o Halo roda Linux nativamente, tem todo o stack open-source (drivers Mesa, ROCm), e não te prende em nenhum ecossistema. Você pode desmontar o software, trocar o OS, compilar seus próprios drivers. É o sonho de todo dev que gosta de ter controle total.

O NPU de 126 TOPS (INT8) é outro ponto que merece atenção. Enquanto a maioria dos devs foca na GPU para inferência de LLMs, o NPU é otimizado para workloads de IA mais leves: processamento de imagem, speech-to-text, classificação. É o tipo de hardware que vai ser cada vez mais usado à medida que aplicações de IA embarcada se tornam mainstream.

Quem comprou, o que achou?

As reviews publicadas hoje (Tom’s Hardware, ServeTheHome, HotHardware) concordam em alguns pontos:

• HotHardware deu 4.25/5: elogiou a facilidade de setup e o fato de rodar Windows e Linux
• Tom’s Hardware deu 3/5: reconheceu que a performance de IA fica atrás do DGX Spark em vários cenários, e que o software ainda precisa amadurecer
• ServeTheHome destacou a ausência de networking de alta velocidade (sem 200GbE para clustering)

O consenso é: hardware excelente, software que ainda precisa de polish. Se a AMD investir em melhorar o ROCm e os playbooks de IA, o Halo pode se tornar uma referência. Se não investir, vai ser mais um produto com potencial desperdiçado.

Parece familiar? É exatamente o que todo mundo fala sobre a AMD há 10 anos. Hardware bom, software que precisa melhorar. A diferença é que, desta vez, a AMD está fazendo um esforço real com o ROCm e com contribuições open-source. Se vai dar certo, só o tempo dirá.

128GB de memória unificada em um PC do tamanho de um livro, por US$ 4 mil, com Linux e stack open-source. Há dois anos isso seria ficção científica. Hoje é uma opção real para quem quer rodar IA local sem vender um rim. A questão agora não é se IA local é viável, é qual ecossistema vai ganhar: CUDA, ROCm, ou Metal. E pela primeira vez em muito tempo, a resposta não é óbvia.

Fonte de inspiração: Reviews do AMD Ryzen AI Halo, ServeTheHome, HotHardware, Hacker News discussion