67 Centavos e 1 GPU: O Transformer que Humilha os LLMs no ARC-AGI

Imagina gastar menos do que um café de padaria e, em uma hora e meia, treinar uma IA que supera o GPT-4 num teste de inteligência. Parece piada, mas foi exatamente o que aconteceu.

Mithil Vakde, um pesquisador independente, publicou resultados que balançaram a comunidade de IA: um transformer de apenas 28 milhões de parâmetros, treinado do zero numa única RTX 5090, alcançou 44% no ARC-AGI-1. O custo total? 67 centavos de dólar. Treino e inferência inclusos.

Para contexto: LLMs gigantes como GPT-4, Claude e Gemini, com centenas de bilhões de parâmetros e custos de inferência que podem passar de milhares de dólares, mal conseguem chegar a 5% no ARC-AGI-2. A versão 1 do benchmark já era um pesadelo para eles.

Esse resultado virou trending no Hacker News, gerou discussões acaloradas no X (Twitter) e LinkedIn, e levantou uma pergunta que muita gente preferia ignorar: será que estamos gastando bilhões na direção errada?

O que é o ARC-AGI (e por que ele importa tanto)

O ARC-AGI, ou Abstraction and Reasoning Corpus for Artificial General Intelligence, é um benchmark criado pelo François Chollet em 2019. Se você não conhece o nome, provavelmente conhece a obra: Chollet é o criador do Keras, uma das bibliotecas mais usadas no mundo para deep learning.

A proposta do ARC-AGI é medir algo que benchmarks tradicionais ignoram: inteligência fluida. Não é sobre o quanto o modelo sabe, é sobre o quanto ele consegue aprender na hora, com pouquíssimos exemplos.

Cada tarefa do ARC-AGI funciona assim: você recebe alguns pares de entrada e saída (grids coloridos de até 30×30 pixels) e precisa descobrir a regra que transforma a entrada na saída. Depois, aplica essa regra a uma nova entrada que nunca viu.

Um humano médio acerta cerca de 85% dessas tarefas. A maioria dos LLMs de ponta? Menos de 5% no ARC-AGI-2.

*O o3 da OpenAI alcançou 87.5% no ARC-AGI-1, mas com custo computacional brutal e uma abordagem de busca massiva que o próprio Chollet argumentou não representar inteligência geral.

A questão é: quando um modelo de 28M de parâmetros treinado por 67 centavos bate LLMs bilionários, alguma coisa está fundamentalmente diferente na abordagem.

Como funciona: a arquitetura por trás dos 67 centavos

Não estamos falando de um hack, um truque de engenharia de prompt ou fine-tuning em cima de um modelo existente. Vakde treinou o transformer do zero (from scratch), com uma arquitetura que combina componentes modernos de forma inteligente.

Os ingredientes

O modelo tem 8 camadas de transformer com as seguintes escolhas de design:

3D Rotary Position Embeddings (3D RoPE): essa é a peça mais importante do quebra-cabeça. Em vez de usar positional embeddings tradicionais (1D), Vakde colocou os grids de entrada no plano z=1 e os grids de saída no plano z=3. Isso dá ao modelo uma noção espacial tridimensional das transformações.

Quando ele removeu o 3D RoPE nos testes de ablação, a performance caiu de 44% para cerca de 25%. Metade do resultado vem dessa decisão de design.

Per-task embeddings: cada tarefa do ARC-AGI tem múltiplos pares de exemplo. Em vez de tratar cada par isoladamente, o modelo recebe um embedding único por tarefa que é somado a todos os pares. Isso faz o modelo entender que “esses exemplos pertencem ao mesmo problema”.

Remover esse componente causou a mesma queda de performance que remover o 3D RoPE.

SwiGLU ao invés de GELU: nas camadas feed-forward, Vakde usou a arquitetura gated do SwiGLU (a mesma que o LLaMA popularizou). É um detalhe pequeno, mas que contribui para a eficiência do aprendizado.

RMSNorm ao invés de LayerNorm: outra escolha que segue a tendência dos modelos modernos. RMSNorm é mais rápido e funciona tão bem quanto (ou melhor que) o LayerNorm clássico.

Flash Attention: para rodar tudo eficientemente na GPU, o modelo usa Flash Attention com treinamento de comprimento variável e kernels de flex attention.

NorMuon optimizer: em vez do clássico AdamW, Vakde migrou para o NorMuon com um AdamW auxiliar. Essa combinação acelerou a convergência.

O truque do treinamento

Aqui é onde a coisa fica realmente interessante. O modelo não é treinado da forma convencional.

O treinamento é autoregressivo somente nas saídas. O modelo aprende a gerar a saída pixel por pixel, condicionado na entrada. Ele não tenta prever as entradas, só as saídas.

E na hora da inferência, algo diferente acontece: o modelo faz test-time training. Ou seja, para cada tarefa nova do benchmark, o modelo literalmente retreina (ajusta seus pesos) usando os exemplos de demonstração daquela tarefa específica. É como se, para cada problema novo, ele “estudasse” os exemplos antes de tentar responder.

Isso é filosoficamente diferente do que um LLM faz. Um LLM tenta resolver o problema “de cabeça”, usando conhecimento cristalizado no treinamento. O transformer do Vakde efetivamente aprende na hora, o que é muito mais próximo do que humanos fazem quando encaram um problema novo.

A matemática que não fecha: 28M vs trilhões

Vamos colocar os números lado a lado porque eles são absurdos.

Repare na desproporção. O modelo do Vakde é literalmente 64.000 vezes menor que o GPT-4 em número de parâmetros. Custou a fração de uma fração do treinamento. E mesmo assim, supera o GPT-4 no benchmark que supostamente mede inteligência geral.

Tem gente que vai argumentar: “mas o GPT-4 faz muito mais coisas”. Verdade. O GPT-4 escreve poesia, programa em 50 linguagens, traduz textos e discute filosofia. O transformer do Vakde só resolve grids coloridos.

Mas essa é justamente a provocação do ARC-AGI. O benchmark não quer saber se o modelo decorou a Wikipedia. Quer saber se ele consegue raciocinar sobre algo que nunca viu. E nesse quesito específico, o gigante perde para o anão.

Princípio MDL: compressão como proxy de inteligência

A base teórica do trabalho de Vakde vem do princípio do Minimum Description Length (MDL). A ideia é simples e elegante: se um modelo consegue comprimir bem os dados, ele entendeu os padrões subjacentes.

Chollet argumenta algo parecido na definição de inteligência do ARC-AGI: inteligência é a eficiência de aquisição de habilidades em tarefas desconhecidas. Se você consegue encontrar a representação mais compacta de uma transformação (a regra que transforma input em output), você “entendeu” o problema.

O transformer do Vakde aplica isso diretamente. Em vez de memorizar bilhões de exemplos e tentar generalizar por interpolação (como fazem os LLMs), ele busca a descrição mínima da regra de transformação. Menos parâmetros, menos dados, mas focados no que importa.

É o oposto da filosofia “scale is all you need” que dominou os últimos 5 anos da IA.

Data augmentation: como extrair suco de pedra

Um dos desafios do ARC-AGI é que o dataset de treino é minúsculo. São poucas centenas de tarefas. Para um deep learning convencional, isso é ridiculamente pouco.

Vakde contornou isso com augmentations agressivas:

• Permutações de cor: cada exemplo tem suas cores embaralhadas aleatoriamente (exceto cores que só aparecem na saída)
• Transformações diedrais: rotações de 90, 180, 270 graus e espelhamentos horizontal/vertical
• Dados do ARC-2: 773 tarefas do ARC-AGI-2 que não se sobrepõem com o ARC-1 (filtragem cuidadosa para evitar data leakage)
• ConceptARC: um dataset complementar com tarefas de raciocínio abstrato

No total, as augmentations expandem o dataset em cerca de 800x. Cada tarefa gera centenas de variantes que o modelo vê como exemplos diferentes, mas que preservam a mesma lógica subjacente.

Na inferência, a mesma estratégia é usada. O modelo gera previsões para múltiplas variantes augmentadas de cada tarefa e seleciona as duas saídas mais comuns (método AAIVR). É um ensemble dos pobres, basicamente.

O que isso significa para o futuro da IA

Eu sei que é tentador tirar conclusões grandiosas de um único resultado de benchmark. Mas vamos ser honestos: o que Vakde demonstrou levanta questões sérias sobre a direção que a indústria de IA está tomando.

A escalabilidade vertical tem limites

A abordagem dominante dos últimos anos foi: mais dados, mais parâmetros, mais GPUs, mais dinheiro. O GPT-4 custou mais de US$ 100 milhões para treinar. Os modelos de próxima geração estão na casa dos bilhões de dólares.

E no entanto, um transformer de 28M treinado por 67 centavos supera todos eles num teste de raciocínio abstrato. Isso não invalida o scaling, mas sugere que escalar sem as abstrações certas é jogar dinheiro num poço sem fundo.

Test-time compute é o verdadeiro game changer

O o3 da OpenAI já mostrou isso: test-time compute (gastar mais processamento na hora da inferência) pode ser mais eficiente que simplesmente treinar modelos maiores. O transformer do Vakde leva isso ao extremo, literalmente retreinando para cada tarefa.

A diferença é que o o3 faz isso com um modelo gigante, e o Vakde faz com 28M de parâmetros. O custo é incomparável.

Modelos especializados podem ser a resposta

Talvez a gente não precise de um modelo que faz tudo. Talvez a resposta seja um ecossistema de modelos especializados, cada um excelente no seu domínio, coordenados por um orquestrador.

Não é uma ideia nova. Mixture of Experts (MoE) já vai nessa direção. Mas o resultado do Vakde sugere que mesmo um modelo incrivelmente pequeno, com as abstrações certas (3D RoPE, per-task embeddings, test-time training), pode ser devastadoramente eficaz.

Como reproduzir (sim, o código é aberto)

O código completo está disponível no GitHub em mvakde/mdlARC. Se você tem uma GPU razoável (nem precisa ser uma RTX 5090), pode treinar o modelo em poucas horas.

git clone https://github.com/mvakde/mdlARC.git
cd mdlARC
pip install -r requirements.txt
python train.py

Os requirements são relativamente modestos: PyTorch, einops, e as dependências padrão de deep learning. O Vakde treinou na RTX 5090, mas reportes da comunidade indicam que uma A100 ou até uma RTX 3090 consegue rodar (com tempos maiores, claro).

O projeto está ativamente sendo desenvolvido. O Vakde publicou que espera chegar a 50% com scaling e otimização de hiperparâmetros, e tem uma meta ambiciosa de 85% (performance humana) mantendo a eficiência.

O que o Chollet pensa disso

François Chollet sempre defendeu que os LLMs não são o caminho para a AGI. O ARC-AGI foi literalmente criado para expor essa limitação. Modelos que dependem de memorização massiva (por maior que seja o dataset) vão eventualmente falhar em tarefas que exigem raciocínio genuinamente novo.

O trabalho do Vakde é, de certa forma, uma validação dessa tese. Você não precisa de um modelo que “sabe tudo”. Precisa de um modelo que aprende rápido. E para aprender rápido, as abstrações e inductive biases corretos valem mais do que terabytes de dados.

O ARC-AGI agora está na versão 3, com tarefas ainda mais complexas que exigem raciocínio agentivo (interação com ambientes, planejamento multi-step). Nessa versão, até o Claude Opus 5 marca apenas 30.2%. O benchmark continua cumprindo seu papel: mostrar o gap entre o que a IA faz e o que a inteligência genuína requer.

Para devs: o que levar pra casa

Se você é desenvolvedor e trabalha com IA (ou quer começar), esses resultados têm implicações práticas:

1. Não subestime modelos pequenos. Com as escolhas de arquitetura certas, 28M de parâmetros podem fazer coisas que trilhões de parâmetros não conseguem. Nem todo problema precisa de um LLM de frontier.

1. Test-time training é uma técnica poderosa. Permitir que o modelo se adapte na hora da inferência é uma direção promissora, especialmente para problemas que exigem generalização.

1. Positional embeddings importam mais do que você pensa. O 3D RoPE foi responsável por quase metade da performance do modelo. A forma como você codifica a posição e estrutura dos dados pode fazer mais diferença que adicionar mais camadas.

1. Data augmentation ainda é subestimada. Num cenário de poucos dados, augmentations inteligentes podem expandir dramaticamente o que seu modelo consegue aprender.

1. Leia o paper, rode o código. O projeto é open source. Você pode treinar o modelo por menos de US$ 1 e experimentar com as ablações. Poucas oportunidades de aprendizado são tão baratas.

A corrida por modelos cada vez maiores não vai parar tão cedo. Tem bilhões de dólares investidos nessa direção e os resultados são impressionantes no dia a dia. Mas trabalhos como o do Vakde são um lembrete importante: tamanho não é tudo. Às vezes, a resposta está em pensar melhor, não em gastar mais.

—

Fonte de inspiração: 44% on ARC-AGI-1 in 67 cents, por Mithil Vakde