Um modelo de 27 bilhões de parâmetros no bolso

Eu já vi muita promessa no mundo de IA. “Roda local”, “não precisa de cloud”, “privacidade total”. Na maioria das vezes, o modelo mal consegue completar uma frase sem alucinar. Mas o que a PrismML lançou ontem muda o jogo de verdade: o Bonsai 27B é o primeiro modelo de 27 bilhões de parâmetros que cabe em um iPhone. Com 3.9 GB.

Sim, 3.9 GB. Menos que um jogo mobile mediano. E não estamos falando de um chatbot de brinquedo: o Bonsai 27B faz raciocínio multi-etapas, executa chamadas de ferramenta estruturadas, processa imagens e roda workflows agênticos. Tudo no seu celular, sem mandar um único byte para a nuvem.

A PrismML, fundada por pesquisadores do Caltech e com investimento de Khosla Ventures, Google e Samsung, conseguiu esse feito usando quantização extrema: pesos de 1 bit. Cada peso do modelo é representado por apenas dois valores: -1 ou +1. O resultado é uma compressão de 14.2x em relação ao modelo original em FP16.

Como funciona a quantização de 1 bit

Para entender o que a PrismML fez, vale recapitular como modelos de linguagem armazenam informação. Um modelo convencional usa pesos em ponto flutuante de 16 bits (FP16). Cada peso ocupa 2 bytes. Um modelo de 27 bilhões de parâmetros em FP16 precisa de uns 54 GB de memória. Impossível em qualquer celular.

A quantização reduz a precisão dos pesos para economizar memória. Técnicas comuns como GPTQ e AWQ comprimem para 4 bits por peso, cortando o consumo pela metade duas vezes. Mas a PrismML foi além, muito além.

O Bonsai 27B vem em duas variantes:

A variante ternária usa três valores possíveis por peso. O zero extra permite uma forma de esparsidade aprendida: o modelo decide quais conexões “desligar”. Já a variante binária é mais radical: cada peso é +1 ou -1, ponto final.

Em ambos os casos, a técnica usa um fator de escala em FP16 compartilhado por grupos de 128 pesos. A fórmula é simples: w_i = s_g * t_i, onde s_g é a escala do grupo e t_i é o peso ternário ou binário. Isso preserva a capacidade expressiva mesmo com pesos tão reduzidos.

Os benchmarks que importam

Números bonitos no papel não significam nada se o modelo não funciona na prática. A PrismML rodou o Bonsai 27B em 15 benchmarks cobrindo matemática, código, raciocínio, chamadas de ferramenta e visão. Todos avaliados em modo de raciocínio (thinking mode).

A variante ternária retém 94.6% do desempenho do modelo original. A variante de 1 bit retém 89.5%. Para efeito de comparação, métodos tradicionais de quantização ultra-baixa (como IQ2_XXS do llama.cpp) marcam 57.5 no AIME26, enquanto o Bonsai 1-bit chega a 91.66 em matemática. A diferença é brutal.

O ponto mais interessante: quantizações convencionais abaixo de 4 bits costumam “colapsar seletivamente”, ou seja, mantêm performance em tarefas simples mas desmoronam em raciocínio complexo. O Bonsai evita isso porque a quantização é aplicada de ponta a ponta, cobrindo embeddings, atenção, MLPs e a cabeça de linguagem (LM head). Nenhum componente fica em precisão mais alta.

Velocidade: tokens por segundo no mundo real

Um modelo que cabe na memória mas demora 10 segundos por token seria inútil. Os números de throughput do Bonsai são animadores:

11 tokens por segundo no iPhone 17 Pro Max. Não é velocidade de streaming do ChatGPT, mas é perfeitamente utilizável para uma conversa local. E no M5 Max, 87 tokens por segundo com a variante binária é mais rápido do que a maioria dos serviços de API.

A PrismML também implementou decodificação especulativa (DSpark) que atinge speedup de 1.37x no H100 com profundidade k=4. O contexto suportado é de 262 mil tokens, embora apenas 16 das 64 camadas mantenham atenção completa.

O que muda para quem desenvolve

Se você trabalha com IA em produção, as implicações são enormes.

Privacidade real. Dados sensíveis nunca saem do dispositivo. Para aplicações em saúde, finanças e jurídico, isso elimina uma camada inteira de compliance. Não precisa negociar DPA com provedor de cloud, não precisa se preocupar com retenção de dados em servidores terceiros.

Custo zero de inferência. Cada chamada de API para GPT-4 ou Claude custa dinheiro. Com o Bonsai rodando local, o custo marginal por token é literalmente zero depois de fazer o download. Para startups e projetos pessoais que processam milhares de requests por dia, a economia é significativa.

Latência previsível. Sem variação de rede, sem cold starts, sem filas. O modelo responde na velocidade do hardware local, sempre. Para aplicações de tempo real (assistentes de voz, autocomplete agressivo, agentes locais), isso é transformador.

Funcionamento offline. Avião, metrô, zona rural, canteiro de obra. O modelo funciona onde a internet não chega. Parece trivial, mas para muitos cenários de campo (manutenção industrial, atendimento médico remoto, pesquisa de campo, fiscalização ambiental) isso é um diferencial crítico que nenhuma API de cloud consegue oferecer.

BitNet, Bonsai e a diferença que importa

Antes de continuar, vale esclarecer uma confusão comum: o Bonsai 27B não é um modelo BitNet.

O BitNet, da Microsoft, treina modelos com quantização de 1 bit desde o início. O modelo já nasce com pesos ternários. É um approach nativo que exige pré-treinamento do zero, com custos enormes de compute.

O Bonsai faz o contrário. Ele pega um modelo pré-treinado em FP16 (no caso, o Qwen3.6 27B) e aplica quantização pós-treinamento. A diferença é que a técnica da PrismML é muito mais refinada que as quantizações tradicionais. Enquanto métodos como GPTQ e AWQ degradam severamente abaixo de 4 bits, o Bonsai mantém performance competitiva com apenas 1.125 bits por peso.

Na prática, isso é uma vantagem enorme. Significa que qualquer modelo open-source de alta qualidade pode, potencialmente, ganhar uma versão ultra-comprimida sem precisar ser retreinado. O custo e o tempo de produzir uma versão Bonsai são ordens de magnitude menores do que treinar um modelo BitNet equivalente do zero.

O contexto maior: a corrida pela IA local

O Bonsai 27B não surgiu do nada. Ele faz parte de uma tendência que vem acelerando em 2026.

A Microsoft lançou o BitNet b1.58, o framework de inferência para modelos de 1 bit que ultrapassou 25 mil estrelas no GitHub. A proposta é treinar modelos com quantização desde o início, em vez de comprimir depois. Um modelo BitNet de 100 bilhões de parâmetros roda em uma CPU de consumidor a 5 a 7 tokens por segundo.

A Apple entrou na briga com o SpeechAnalyzer, que roda 3x mais rápido que o Whisper inteiramente no dispositivo. A Qualcomm e a MediaTek estão adicionando NPUs cada vez mais potentes nos seus chips mobile.

A diferença do Bonsai é que ele pega um modelo existente de ponta (Qwen3.6 27B) e comprime sem retreinar do zero. É pós-treinamento, mas com uma técnica tão refinada que bate métodos de quantização convencionais por margem larga.

Isso significa que, em tese, a mesma técnica pode ser aplicada a outros modelos. Llama 4, Mistral, Gemma: todos podem ganhar versões “bonsai” se a abordagem se provar generalizável. A PrismML já sinalizou interesse em expandir para outros modelos base.

Multimodal no bolso

Um detalhe que muita gente vai passar batido: o Bonsai 27B não é só texto. Ele aceita imagens como entrada.

A torre de visão usa quantização separada em 4 bits (via HQQ), mantendo qualidade visual enquanto o modelo de linguagem opera em 1 bit. Na prática, você pode apontar a câmera do celular para algo, tirar uma foto e pedir para o modelo analisar, tudo localmente.

Imagine os cenários: um eletricista fotografa um painel elétrico e pede diagnóstico. Um estudante tira foto de uma equação e pede resolução passo a passo. Um desenvolvedor captura uma screenshot de um erro e pede análise. Tudo sem internet, sem API, sem custo por chamada.

Limitações que você precisa conhecer

Nem tudo são flores. Antes de sair substituindo suas APIs por modelos locais, considere:

Tarefas agênticas perdem mais qualidade. A retenção cai para 66% na variante de 1 bit para tarefas agênticas, contra 89.5% na média geral. Se seu caso de uso depende fortemente de chamadas de ferramenta encadeadas, a versão ternária (74%) é mais segura, mas precisa de mais memória.

Contexto com ressalvas. O modelo suporta 262K tokens de contexto, mas o KV cache em 4 bits consome uns 4.3 GB para isso. No iPhone, com ~6 GB utilizáveis por app, usar o contexto máximo junto com o modelo de 3.9 GB fica apertado. Na prática, janelas de contexto menores funcionam melhor em dispositivos móveis.

11 tokens/s no iPhone não é para tudo. Para conversas curtas e análise de imagens, funciona. Para gerar documentos longos ou fazer code review de arquivos grandes, a experiência vai ser lenta. O sweet spot para mobile parece ser interações rápidas e pontuais.

Apache 2.0, mas com dependência. O modelo é baseado no Qwen3.6 27B. Se a Alibaba mudar a licença do modelo base em versões futuras, pode afetar derivados. Por ora, tudo é Apache 2.0 e aberto.

Como rodar o Bonsai 27B agora

O modelo está disponível no Hugging Face da PrismML e roda via llama.cpp (CUDA e Metal) e MLX para dispositivos Apple.

Para quem quer testar no Mac:

# Instalar MLX
pip install mlx-lm

# Baixar o modelo 1-bit
huggingface-cli download prism-ml/Bonsai-27B-mlx-1bit

# Rodar
mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit \
  --prompt "Explique como funciona quantização de 1 bit" \
  --max-tokens 500

Para GPU NVIDIA via llama.cpp:

# Clonar e compilar llama.cpp com CUDA
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && cmake -B build -DGGML_CUDA=ON && cmake --build build

# Baixar e rodar
./build/bin/llama-cli -m Bonsai-27B-1bit.gguf \
  -p "Qual a diferença entre Docker e Podman?" \
  -n 256 --threads 8

A PrismML também ofereceu uma API gratuita temporária para quem quer testar sem baixar nada, mas provavelmente já lotou considerando o hype. De qualquer forma, com o modelo sendo Apache 2.0 e disponível no Hugging Face, você tem autonomia total para hospedar, modificar e distribuir como quiser.

O futuro é de 1 bit?

A pergunta que fica: modelos de 1 bit vão substituir os de precisão completa?

Provavelmente não para todos os casos. Modelos frontier como Claude Opus, GPT-5 e Gemini Ultra ainda entregam qualidade superior em tarefas que exigem raciocínio profundo e nuance. A diferença de 5 a 10% nos benchmarks pode ser crucial dependendo do domínio.

Mas para 80% dos casos de uso do dia a dia (chat, resumo, tradução, análise de código simples, triagem de emails, assistentes pessoais), um modelo de 1 bit com 90% da qualidade rodando localmente com custo zero e latência mínima é mais do que suficiente.

A tendência é clara: a IA está saindo dos data centers e entrando nos dispositivos. O Bonsai 27B é o argumento mais convincente até agora de que isso não é só possível, é prático.

Eu já testo modelos locais faz tempo. Rodei Llama no Mac, Mistral no desktop, Phi no laptop. Sempre com aquela sensação de “funciona, mas falta algo”. O Bonsai 27B é o primeiro modelo local que me fez pensar: “ok, isso aqui realmente compete com APIs pagas para o dia a dia.”

Se você é desenvolvedor e ainda não experimentou rodar IA local, agora não tem mais desculpa. 3.9 GB, Apache 2.0, roda no celular. A PrismML mostrou que você não precisa de uma GPU de US$ 30 mil para ter um modelo que raciocina, programa e enxerga. O celular no seu bolso já resolve.

Fonte de inspiração: PrismML – Announcing Bonsai 27B