Shopping cart

Subtotal $0.00

View cartCheckout

Building better devs

TnewsTnews
  • Home
  • IA
  • OpenAI Jalapeño: O Chip que Humilhou a Nvidia nos Benchmarks de Inferência
IA

OpenAI Jalapeño: O Chip que Humilhou a Nvidia nos Benchmarks de Inferência

Email : 17

A OpenAI acabou de provar que não precisa da Nvidia pra rodar IA rápido. E os números são constrangedores.

No Hot Chips 2026, a empresa apresentou o Jalapeño, seu primeiro ASIC customizado para inferência, desenvolvido em parceria com a Broadcom. O chip entrega até 1,9x mais trabalho por watt que o Blackwell da Nvidia, e em latência a diferença chega a 3,6x. A SemiAnalysis, firma independente de análise de semicondutores, visitou os labs da OpenAI, rodou os benchmarks por conta própria e confirmou: o chip é real e os números batem.

O mais absurdo? O Jalapeño foi do conceito ao tape-out em apenas nove meses. Eu já vi projetos de CRUD que levaram mais tempo que isso.

De onde veio esse chip (e por que agora)

A OpenAI não decidiu fazer chip do nada. Inferência é o custo dominante de qualquer empresa que roda modelos grandes em produção. Treinar um modelo é caro, mas é um gasto pontual. Inferência é contínua: cada prompt, cada resposta, cada agente rodando em background consome GPU. Para a OpenAI, que processa bilhões de requests por dia, cada ponto percentual de eficiência se traduz em milhões de dólares por mês.

Historicamente, a empresa dependia quase 100% de GPUs Nvidia. O problema é que a Nvidia cobra caro e entrega quando quer. A fila de espera por H100 e GB200 virou lenda na indústria. Então a OpenAI fez o que Google (com as TPUs), Amazon (com o Trainium) e Meta (com o MTIA) já tinham feito: desenhar seu próprio silício.

A diferença é a velocidade. O Google levou anos para iterar nas TPUs. A Amazon está na terceira geração do Trainium. A OpenAI fez um chip competitivo na primeira tentativa, em nove meses, usando seus próprios modelos de IA para acelerar etapas do design.

Arquitetura do Jalapeño: o que tem dentro

O Jalapeño é fabricado no processo N3P da TSMC (3 nanômetros) com um chiplet de I/O em N3E. É um die de tamanho reticle, ou seja, ocupa o máximo que a litografia permite em uma única exposição.

Alguns números que chamam atenção:

Especificação Valor
Compute (MXFP4) 13,4 PFLOP/s
Memória HBM4 216 GiB
Bandwidth de memória 15,4 TB/s
TDP 700W (sustentado ~550W)
Networking (local) 600 GB/s (128 chips)
Networking (global) 200 GB/s (2.048 chips)
Processo TSMC N3P + N3E

A arquitetura usa systolic arrays weight-stationary com formatos numéricos MXFP, que são otimizados para inferência de LLMs. Além disso, o chip tem cores escalares de 64 bits e cores vetoriais FP32/INT32, algo incomum para ASICs de IA. A presença de cores out-of-order com cache L1 sugere que a OpenAI quer flexibilidade, não só throughput bruto.

O sistema de networking merece destaque: 32 lanes de SerDes a 800G conectam os chips em uma fabric unificada. Um rack comporta 128 Jalapeños, e até 16 racks podem ser conectados em um único cluster de 2.048 chips. Isso escala para 27 EFLOP/s e 432 TiB de memória agregada, sem precisar de disaggregação prefill-decode.

Os benchmarks que envergonharam a Nvidia

A OpenAI testou o Jalapeño contra os sistemas GB200 e GB300 da Nvidia usando três modelos:

  • DeepSeek R1
  • Kimi-K2.5
  • GPT-OSS 120B (um modelo open-source interno da OpenAI)

Os resultados em throughput por watt:

Métrica Jalapeño vs Nvidia
Trabalho por watt (pico) 1,5x a 1,9x superior
Latência end-to-end 1,7x a 3,6x menor
Throughput/kW (velocidade máxima Nvidia) 53x a 104x superior

Aquele último número não é typo. Na velocidade máxima de decodificação que os sistemas Nvidia conseguem atingir, o Jalapeño entrega entre 53 e 104 vezes mais throughput por quilowatt. Isso acontece porque o chip foi projetado do zero para inferência, enquanto GPUs são generalistas que fazem inferência “de quebra”.

A SemiAnalysis usou seu benchmark InferenceX para verificar os resultados de forma independente. O veredicto deles: o Jalapeño “smokes every other chip”, incluindo Nvidia, AMD e Google.

No DeepSeek R1, sem speculative decoding, o chip atingiu mais de 700 tokens por segundo por usuário em baixa concorrência. Pra colocar em perspectiva: a maioria dos deploys de R1 em GPU entrega algo entre 30 e 80 tokens/s dependendo da configuração.

O que a Nvidia respondeu (spoiler: US$ 96 bilhões)

A Nvidia não ficou parada. Na mesma semana dos benchmarks do Jalapeño, Jensen Huang anunciou um trimestre de US$ 96 bilhões em receita. A mensagem era clara: “vocês podem fazer seus chips, mas o mercado ainda é nosso.”

E a Nvidia tem um ponto. O Jalapeño é vertical: só a OpenAI vai usar. Não existe ecossistema, não existe CUDA, não existe marketplace de instâncias. Cada empresa que quiser um chip customizado precisa investir centenas de milhões e esperar anos (ou nove meses, se tiver os modelos da OpenAI ajudando no design).

A Nvidia também está preparando a geração Vera Rubin, que promete avanços significativos em eficiência energética. O Jalapeño ainda não foi testado contra Rubin, então a comparação direta tem prazo de validade.

Mas o precedente está criado. Se a OpenAI conseguiu bater a Nvidia na primeira geração, a segunda tende a ser ainda mais agressiva.

9 meses do conceito ao silício: como isso é possível?

O ciclo de desenvolvimento do Jalapeño é, possivelmente, o mais rápido já registrado para um ASIC de alto desempenho. A OpenAI credita três fatores:

1. Co-design software-hardware

Ao contrário de chips genéricos, o Jalapeño foi projetado para um conjunto específico de workloads que a OpenAI conhece intimamente. Não precisou otimizar para casos genéricos. O software de inferência e o silício foram desenvolvidos em paralelo, com feedback constante entre as equipes.

2. Expertise da Broadcom

A Broadcom trouxe décadas de experiência em implementação de silício, networking e conectividade. Enquanto a OpenAI definiu a microarquitetura e os requisitos computacionais, a Broadcom cuidou do physical design, verificação e tape-out.

3. IA no design de IA

Esse é o detalhe mais recursivo: a OpenAI usou seus próprios modelos para acelerar etapas do design do chip. Otimização de layout, exploração de espaço de design, verificação de timing: tarefas que normalmente levam semanas foram comprimidas para dias.

MXFP4: o formato numérico que ninguém esperava

Uma decisão arquitetural interessante é o uso de MXFP4 (Microscaling Floating Point de 4 bits) como formato nativo de computação matricial. Isso é mais agressivo que o INT8 e FP8 usados pela maioria dos aceleradores atuais.

MXFP4 funciona assim: cada bloco de 32 elementos compartilha um expoente de escala, mas cada elemento individual tem apenas 4 bits de mantissa. Na prática, isso permite embalar o dobro de operações por ciclo comparado a FP8, com perda mínima de qualidade para inferência de LLMs.


# Comparação de formatos numéricos para inferência
FP16:  16 bits/elemento  → baseline de qualidade
FP8:    8 bits/elemento  → ~2x throughput vs FP16
MXFP4:  4 bits/elemento  → ~4x throughput vs FP16
INT4:   4 bits/elemento  → similar, mas sem escala flutuante

A vantagem do MXFP sobre INT4 puro é que o expoente compartilhado preserva range dinâmico. Modelos quantizados em MXFP4 perdem menos qualidade que em INT4, especialmente em ativações com distribuições assimétricas.

O que isso muda pra quem usa API da OpenAI

Se você é dev e consome a API da OpenAI, a implicação direta é: custo menor por token. A OpenAI ainda não anunciou mudanças de preço vinculadas ao Jalapeño, mas quando o chip entrar em produção no final de 2026, a empresa vai ter uma vantagem estrutural de custo sobre concorrentes que dependem de GPU alugada.

O CEO da Broadcom, Hock Tan, mencionou em entrevistas que o Jalapeño pode reduzir o custo por token em até 50%. Esse número ainda não foi validado independentemente, então trate como aspiracional. Mas mesmo metade disso já seria transformador.

Para empresas que rodam modelos open-source on-premises, a notícia é mais complicada. O Jalapeño é vertical: não existe versão para comprar. Se você quer eficiência parecida, suas opções continuam sendo Nvidia (caro), AMD (melhorando) ou chips customizados como o Trainium da AWS (se estiver na nuvem deles).

A corrida do silício customizado para IA

O Jalapeño não existe no vácuo. Ele é parte de uma tendência acelerada:

Empresa Chip Foco Status
Google TPU v6e (Trillium) Training + Inference Produção
Amazon Trainium3 Training Produção
Meta MTIA v2 Inference Interno
Microsoft Maia 100 Training + Inference Early deployment
OpenAI Jalapeño Inference Late 2026
Tesla Dojo D2 Training (FSD) Interno

O padrão é claro: toda empresa de hyperscale que pode bancar o investimento está saindo de GPUs genéricas e indo para silício customizado. A razão é simples: quando você controla o hardware e o software, pode otimizar de formas impossíveis com hardware genérico.

A Nvidia sabe disso. Por isso comprou a Hugging Face por US$ 13 bilhões na mesma semana: se não pode impedir chips customizados, pode pelo menos controlar o ecossistema de modelos.

Os limites do Jalapeño (porque nem tudo são flores)

Antes de decretar a morte da Nvidia, alguns caveats importantes:

1. Inferência only

O Jalapeño não faz training. Para treinar o próximo GPT, a OpenAI ainda precisa de Nvidia (ou talvez de um futuro chip de training próprio). Isso limita o impacto do Jalapeño ao lado da equação onde a OpenAI gasta mais, mas não elimina a dependência.

2. Benchmarks seletivos

Os testes foram feitos com single-token prediction, enquanto a Nvidia usa multi-token prediction em seus benchmarks do Vera Rubin. Comparar metodologias diferentes é como comparar 0-100km/h com velocidade máxima: ambos dizem algo, mas coisas diferentes.

A SemiAnalysis também apontou que faltam resultados do AgentX, o benchmark que simula workloads de agentes com contexto longo e multi-turn. Para produção real, esse é o teste que importa.

3. Produção limitada

O chip entra em produção gradual no final de 2026, com ramp-up até 2027. A OpenAI não vai substituir toda sua frota de GPUs da noite pro dia. Na prática, o Jalapeño vai rodar os workloads mais sensíveis a custo enquanto GPUs continuam fazendo o resto.

4. Sem ecossistema externo

Diferente de CUDA, que tem milhões de devs e décadas de software, o Jalapeño roda um stack proprietário da OpenAI. Se algo quebrar, não tem Stack Overflow pra ajudar. Isso é aceitável para uma empresa verticalizada, mas não escala para a indústria.

700 tokens por segundo: o que isso significa na prática

Para traduzir os benchmarks em algo palpável: 700 tokens/s no DeepSeek R1 significa que uma resposta de 2.000 tokens (aproximadamente 1.500 palavras) é gerada em menos de 3 segundos. Com GPUs convencionais, a mesma resposta leva entre 25 e 60 segundos dependendo do setup.

Isso não é só questão de conforto do usuário. Para agentes de IA que encadeiam dezenas de chamadas, latência de inferência é o gargalo que define se o agente resolve o problema em 2 minutos ou 20 minutos. Inferência mais rápida e eficiente viabiliza agentes mais complexos, o que por sua vez demanda mais inferência. É um ciclo virtuoso que justifica o investimento em silício customizado.

O futuro: Jalapeño é só o começo

A OpenAI e a Broadcom já deixaram claro que o Jalapeño é “o primeiro passo de uma plataforma de computação multi-geracional”. Traduzindo do corporativês: espere um Jalapeño 2 (Habanero? Carolina Reaper?) nos próximos 18 a 24 meses.

Se o primeiro chip, feito em nove meses, já bate a Nvidia, imagina o que uma segunda geração com aprendizados de produção real pode fazer. A era do monopólio Nvidia em inferência de IA está oficialmente com prazo de validade.

A pergunta que fica não é se chips customizados vão dominar a inferência. É quanto tempo até a Nvidia deixar de ser a opção padrão.

Leia também: Cerebras CS-4: 4.400 Tokens/s e 30x Mais Rápido que a Nvidia | Nvidia Comprou o Hugging Face por US$ 13 Bi


Fontes: SemiAnalysis, OpenAI Blog, Tom’s Hardware

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Posts