440 Tokens por Segundo numa RTX 4090 — com 1GB de RAM

Semana passada eu estava rodando um Llama 3 8B local na minha máquina. 16GB de VRAM ocupados, fan girando que nem turbina, e o modelo cuspindo tokens numa velocidade que me fazia questionar se eu não deveria ter comprado aquela GPU mais cara. Aí eu vi o anúncio da PrismML no Hacker News e pensei: “tá, mais uma startup de IA prometendo milagre.”

Eu estava errado.

O 1-bit Bonsai 8B é um modelo de 8 bilhões de parâmetros que ocupa 1GB de RAM. Não 16GB. Não 8GB com quantização agressiva. Um. Giga. E ele compete de igual para igual com o Llama 3 8B e o Qwen 3 8B nos benchmarks.

Se você trabalha com IA local, edge computing, ou simplesmente está cansado de pagar conta de cloud pra rodar inferência, esse artigo é pra você.

O Que Raios é um LLM de 1-Bit?

Antes de entrar no Bonsai, preciso explicar o conceito de 1-bit — porque a maioria das pessoas confunde isso com quantização pós-treino, e são coisas completamente diferentes.

Num modelo convencional, cada peso (weight) é armazenado em 16 bits (FP16) ou 32 bits (FP32). Quando você faz quantização pós-treino — tipo GPTQ, AWQ, ou GGUF Q4 — você pega um modelo já treinado e comprime os pesos pra 4 ou 8 bits. Funciona, mas tem um custo: abaixo de 4 bits, a qualidade cai de forma perceptível.

LLMs de 1-bit são outra história. O modelo é treinado do zero com pesos de 1 bit. Cada peso só pode ser -1, 0 ou +1 (tecnicamente 1.58 bits, por causa do zero). Não é compressão. É uma arquitetura fundamentalmente diferente.

A Microsoft foi pioneira com o BitNet em 2024, provando que era possível. Mas ninguém tinha conseguido fazer um modelo de 1-bit que fosse competitivo e comercialmente viável. Até agora.

PrismML: Quem São Esses Caras?

A PrismML saiu do stealth em 31 de março de 2026 com um comunicado que chamou atenção: “o primeiro LLM de 1-bit comercialmente viável do mundo.” Fundada por pesquisadores do Caltech, com investimento da Khosla Ventures e de Amir Salek (o cara que fundou e liderou o programa de TPUs do Google).

O que eles fizeram de diferente? Reescreveram a matemática. Em vez de adaptar arquiteturas existentes para 1-bit, construíram do zero uma abordagem que maximiza o que eles chamam de intelligence density — basicamente, quanta inteligência você extrai por gigabyte de memória.

E o número é absurdo.

Leu certo: o Bonsai entrega 10.8x mais inteligência por GB que o Qwen 3 8B. Não é uma melhoria incremental. É outra liga.

Benchmarks: Números que Importam

Vamos ao que interessa. A PrismML publicou comparações contra os principais modelos de 8B parâmetros. Olha a tabela:

A PrismML não divulgou scores numéricos exatos para cada benchmark individual (o paper completo ainda não saiu), mas o posicionamento deles é claro: no aggregate de benchmarks, o Bonsai 8B compete com modelos FP16 da mesma classe de parâmetros. A diferença brutal está no custo computacional pra chegar lá.

440 tokens por segundo numa 4090. Pra colocar em perspectiva: isso é texto sendo gerado mais rápido do que você consegue ler.

Rodando no Celular — Sim, no Celular

Talvez o dado mais impressionante: o Bonsai 8B roda a 44 tokens por segundo no iPhone 17 Pro Max. Um modelo de 8 bilhões de parâmetros. No seu bolso. Sem cloud.

Isso abre portas que estavam trancadas até semana passada:

• Apps com IA offline: assistentes pessoais que funcionam no avião, no metrô, sem sinal
• Privacidade real: seus dados nunca saem do dispositivo
• Latência zero: sem round-trip pra nenhum servidor
• Custo zero de inferência: depois de baixar o modelo, acabou o gasto

E o Bonsai não vem só no tamanho 8B. A PrismML lançou três variantes:

Um modelo de 1.7 bilhão de parâmetros em 240MB. Dá pra rodar num smartwatch, se alguém quiser.

Como Testar Agora (Guia Prático)

Os modelos estão disponíveis no Hugging Face sob licença Apache 2.0. Aqui vai o passo a passo pra rodar na sua máquina:

Opção 1: llama.cpp (fork da PrismML)

A PrismML mantém um fork do llama.cpp com suporte a kernels de 1-bit:

# Clonar o fork da PrismML
git clone https://github.com/prism-ml/llama.cpp
cd llama.cpp

# Compilar
make -j$(nproc)

# Baixar o modelo GGUF
huggingface-cli download prism-ml/Bonsai-8B-gguf --local-dir models/bonsai-8b

# Rodar
./llama-cli -m models/bonsai-8b/Bonsai-8B-Q1_0.gguf \
  -p "Explique Docker multi-stage builds em português" \
  -n 512 --threads 8

Opção 2: MLX (Mac com Apple Silicon)

Se você tem um Mac M1/M2/M3/M4, o MLX é a melhor opção:

from mlx_lm import load, generate

model, tokenizer = load("prism-ml/Bonsai-8B-mlx-1bit")

prompt = "Quais são as vantagens de microsserviços sobre monolitos?"
response = generate(
    model,
    tokenizer,
    prompt=prompt,
    max_tokens=500
)
print(response)

No M4 Pro, espere algo em torno de 136 tokens/segundo. Rápido o suficiente pra parecer que o modelo já sabe a resposta antes de você terminar de perguntar.

Opção 3: Ollama (em breve)

Na data de publicação deste artigo, o suporte nativo a modelos 1-bit no Ollama ainda está sendo implementado. Mas como os modelos estão em formato GGUF, você pode tentar:

ollama create bonsai-8b -f Modelfile

Onde o Modelfile aponta para o GGUF baixado. A comunidade já está trabalhando em integração oficial.

1-Bit vs Quantização Pós-Treino: A Diferença que Importa

“Mas eu já rodo Llama 3 8B em Q4_K_M e funciona bem. Qual a vantagem?”

Pergunta justa. Vamos comparar:

O ponto crucial: quantização pós-treino é como comprimir um JPEG — você perde informação. Modelos nativos de 1-bit são como tirar a foto em resolução menor mas com uma lente melhor. O resultado final é comparável, mas o processo é fundamentalmente diferente.

A pesquisa da Microsoft com o BitNet já tinha mostrado que modelos treinados em 1.58 bits podem igualar modelos FP16 a partir de 3 bilhões de parâmetros. O que a PrismML fez foi transformar essa possibilidade acadêmica em produto.

O Impacto no Ecossistema

Eu vejo três ondas de impacto vindo dessa tecnologia:

Onda 1: Democratização imediata. Se um modelo de 8B parâmetros cabe em 1GB, qualquer computador dos últimos 10 anos consegue rodar IA local. Não precisa de GPU dedicada. Não precisa de 32GB de RAM. Aquele notebook do escritório com 8GB de RAM? Roda o Bonsai 8B sem suar.

Onda 2: Edge AI de verdade. Até agora, “edge AI” significava rodar modelos minúsculos em dispositivos ou depender de conexão com a cloud. Com 240MB pro Bonsai 1.7B, estamos falando de IA real em câmeras de segurança, drones, robôs industriais, carros autônomos — tudo processando localmente.

Onda 3: O custo de inferência despenca. Empresas que gastam milhões por mês em GPUs na cloud pra servir LLMs vão olhar pra esses números e questionar seriamente sua infraestrutura. Se você pode servir 440 tokens/segundo numa única 4090 com 1GB de VRAM… quantos requests simultâneos cabem num servidor com 24GB de VRAM?

A conta de padaria: onde antes você rodava 1 instância de Llama 3 8B FP16 (16GB de VRAM), agora cabem ~14 instâncias simultâneas do Bonsai 8B na mesma GPU. Isso é uma redução de custo de inferência de mais de 90%.

As Limitações (Porque Nada é Perfeito)

Antes que você saia apagando todos os seus modelos quantizados, uns pontos de atenção:

Fine-tuning ainda é complicado. A Tether lançou um framework de LoRA cross-platform pra modelos BitNet em março de 2026, mas o ecossistema de fine-tuning pra 1-bit ainda é imaturo comparado com o que temos pra modelos FP16/FP8.

Nem todo benchmark conta a história completa. O Bonsai é “competitivo” nos benchmarks agregados, mas modelos FP16 maiores (70B+) ainda dominam em tarefas de raciocínio complexo. 1-bit de 8B não vai substituir um GPT-4 ou Claude pra tarefas que exigem reasoning profundo.

Suporte de hardware. A aritmética ternária (-1, 0, +1) é trivial computacionalmente, mas o hardware atual não é otimizado pra isso. NPUs (Neural Processing Units) nos chips modernos poderiam ser game-changers, mas o suporte ainda está “coming soon” no roadmap do BitNet.

O ecossistema é novo. llama.cpp oficial, Ollama, vLLM — nenhuma dessas ferramentas tem suporte nativo a 1-bit hoje. Você depende de forks e patches. Isso vai mudar rápido, mas hoje é fricção real.

O Contexto Maior: A Corrida pela Eficiência

O Bonsai não existe no vácuo. Existe um movimento mais amplo acontecendo:

• A Microsoft continua desenvolvendo o BitNet, com otimizações de CPU que permitem rodar modelos de 100B parâmetros num único processador a 5-7 tokens/segundo
• A Tether lançou framework de fine-tuning BitNet que roda em smartphones — fine-tuning de modelos de 1B em 10 minutos num Samsung S25
• O paper TinyLoRA (também trending no HN essa semana) mostrou que é possível aprender raciocínio com apenas 13 parâmetros de adaptação
• Modelos como Qwen 3 e Llama 3 continuam sendo referência, mas cada vez mais como “modelos base” que servem de benchmark, não necessariamente como a forma mais eficiente de deployment

A tendência é clara: a próxima guerra da IA não é sobre quem tem o modelo maior. É sobre quem entrega mais inteligência por watt, por byte, por dólar.

Pra Quem Isso Muda o Jogo?

Se você se encaixa em algum desses perfis, preste atenção:

• Dev que roda IA local: menos RAM, mais velocidade, mesma qualidade. Sem desvantagem.
• Startup com budget limitado: custo de inferência caindo 90%+ muda completamente o unit economics de produtos baseados em LLM.
• Empresa com dados sensíveis: processamento 100% local, sem mandar dado nenhum pra cloud, com modelo de 8B que compete com as alternativas hosted.
• Maker/IoT: 240MB pra um modelo de 1.7B abre possibilidades que não existiam antes em hardware embarcado.
• Pesquisador: licença Apache 2.0, pesos abertos, arquitetura documentada. Tudo que você precisa pra experimentar.

E Agora?

O 1-bit Bonsai não é o fim da história — é mais como o primeiro capítulo de uma mudança de paradigma. Quando a Microsoft lançou o BitNet, muita gente descartou como curiosidade acadêmica. “Legal, mas nunca vai competir com modelos de verdade.”

A PrismML acabou de provar que esses céticos estavam errados.

Os modelos estão no Hugging Face, a licença é Apache 2.0, e você pode testar agora. Se eu fosse você, baixava o Bonsai 8B hoje e rodava lado a lado com seu modelo quantizado favorito. A diferença no consumo de recursos vai te fazer repensar algumas coisas.

A real é que estamos entrando numa era onde o gargalo da IA local não é mais hardware. É software. E quando o software alcançar — com suporte nativo em ferramentas como Ollama, vLLM e llama.cpp — o cenário de deployment de LLMs vai ser irreconhecível comparado com o que temos hoje.

Fico pensando: se em 2024 a gente achava impressionante rodar um modelo de 7B quantizado em 4-bit… o que vai ser normal em 2027?

Fonte de inspiração: PrismML — Announcing 1-bit Bonsai: The First Commercially Viable 1-bit LLMs

👉 Leia também: GPU de 00 Supera o Claude Sonnet: Como o ATLAS Está Mudando a IA Local