Shopping cart

Subtotal $0.00

View cartCheckout

Building better devs

TnewsTnews
  • Home
  • IA
  • Modelos de IA de US$0,11 Encontram os Mesmos Bugs que o Claude Mythos
IA

Modelos de IA de US$0,11 Encontram os Mesmos Bugs que o Claude Mythos

Email : 61

Há dois dias, eu escrevi aqui no CodeInsider sobre o Claude Mythos — o modelo da Anthropic que encontrou vulnerabilidades críticas em sistemas operacionais como FreeBSD e OpenBSD, algumas escondidas por mais de duas décadas. A narrativa era clara: esse modelo é tão perigoso que a Anthropic decidiu não liberar para o público. Só empresas selecionadas teriam acesso, sob contratos rígidos.

Parecia um marco na cibersegurança. Um modelo que faz o que equipes inteiras de pesquisadores levam meses para conseguir.

Só que agora apareceu alguém para contestar essa história toda.

A AISLE Jogou um Balde de Água Fria

A AISLE Security, uma empresa de cibersegurança com IA, publicou uma análise que basicamente diz: “calma aí, modelos pequenos e baratos também encontram esses bugs.”

E não é achismo. Eles testaram. Pegaram as mesmas vulnerabilidades que a Anthropic exibiu como troféus do Mythos e rodaram em oito modelos diferentes — incluindo modelos open-source com 3,6 bilhões de parâmetros que custam US$0,11 por milhão de tokens.

O resultado? Todos os oito modelos detectaram a vulnerabilidade principal do FreeBSD. Aquele mesmo buffer overflow que o Mythos “descobriu” e que gerou toda a comoção sobre IA perigosa.

Eu precisei reler duas vezes. Um modelo que cabe num laptop encontrou a mesma falha que supostamente exige a IA mais avançada do planeta.

Os Números que Ninguém Queria Ver

Vamos aos dados, porque essa história fica mais interessante quando a gente olha os benchmarks de perto.

ModeloParâmetros AtivosCusto/1M tokensFreeBSD NFS RCEOpenBSD SACKOWASP False-Positive
Claude MythosNão divulgadoAcesso restrito
GPT-OSS-120b5,1B~US$0,30
GPT-OSS-20b3,6BUS$0,11
DeepSeek R1VariávelOpen-source
Kimi K2VariávelOpen-source
Gemma 4~9BGratuito
o3 (OpenAI)Não divulgadoPremium
Qwen3 32B32BOpen-source

Repare numa coisa: o GPT-OSS-20b, com míseros 3,6 bilhões de parâmetros ativos e custando centavos, não só detectou o buffer overflow como calculou o espaço restante do buffer e classificou a severidade como crítica com potencial de execução remota de código.

Isso não é “ah, detectou que tem um bug”. É a análise completa, com cadeia de exploração.

A “Fronteira Irregular” da IA em Segurança

A AISLE cunhou um termo que eu achei genial: “jagged frontier” — fronteira irregular. A ideia é que a capacidade dos modelos de IA em segurança não escala de forma linear com o tamanho. Não existe um “modelo melhor” consistente.

Na prática, funciona assim:

  • O GPT-OSS-120b (5,1B parâmetros) conseguiu recuperar a cadeia completa de exploração do bug do OpenBSD SACK — uma vulnerabilidade que exige entender wraparound de inteiros com sinal e dereferência de ponteiro nulo. Complexo pra caramba.
  • Mas modelos maiores e mais caros, incluindo variantes do GPT-4 e GPT-5, falharam nessa mesma tarefa.
  • No teste de falso positivo do OWASP (análise de fluxo de dados em Java), modelos pequenos como o DeepSeek R1 superaram os modelos frontier de grandes labs.

É contraintuitivo. Você esperaria que o modelo maior e mais caro fosse melhor em tudo. Mas cibersegurança não é uma tarefa homogênea — são dezenas de habilidades diferentes (análise de buffer, fluxo de dados, raciocínio matemático, entendimento de protocolos), e cada modelo tem seus pontos fortes e fracos em combinações imprevisíveis.

O Problema da Especificidade (Ou: Encontrar Bug é Fácil, Não Dar Alarme Falso é Difícil)

Aqui entra um detalhe que a maioria dos artigos sobre Mythos ignorou completamente.

A AISLE fez um update em 9 de abril revelando algo crucial: muitos modelos que atingiram 100% de sensibilidade (encontraram todos os bugs) falharam miseravelmente em especificidade — ou seja, também reportaram bugs em código que já tinha sido corrigido.

Imagina o cenário: você roda seu modelo de IA no codebase da empresa, ele encontra 50 vulnerabilidades, e 40 delas são falsos positivos. Você acabou de gerar trabalho inútil para sua equipe inteira.

Apenas o GPT-OSS-120b manteve performance perfeita nos dois sentidos — encontrando bugs reais e não gerando falsos positivos — em múltiplas execuções. Nem o Mythos foi testado com esse rigor em público.

“Quando o CTO do OpenSSL diz ‘apreciamos a alta qualidade dos relatórios’, esse é o sinal que importa.” — AISLE Security

Qualidade do output importa mais que a capacidade bruta de detecção.

Então o Mythos é Uma Farsa?

Não. Seria simplista demais dizer isso.

O que a pesquisa da AISLE mostra é que a capacidade de descoberta — encontrar que uma função tem um buffer overflow, fazer a matemática, avaliar a severidade — já é acessível a praticamente qualquer pessoa com um computador. Modelos open-source, rodando localmente, sem pagar nada à Anthropic ou OpenAI, conseguem fazer essa parte.

O que NÃO é commodity:

  • Targeting: saber ONDE procurar em um codebase de milhões de linhas
  • Iteração: aprofundar a análise quando algo parece suspeito
  • Triage: priorizar o que realmente é perigoso vs. o que é teórico
  • Geração de patches: não só encontrar o bug, mas propor a correção
  • Confiança dos maintainers: fazer com que os donos do projeto aceitem seus relatórios

A frase-chave da AISLE é: “o moat em cibersegurança com IA é o sistema, não o modelo”. A infraestrutura ao redor do modelo — o pipeline de scanning, a lógica de targeting, a validação em sandbox — é o que realmente separa uma ferramenta útil de um brinquedo.

E aí está o possível valor real do Mythos: não o modelo em si, mas o sistema que a Anthropic construiu ao redor dele.

O Elefante na Sala: Marketing ou Segurança Legítima?

Essa é a pergunta que ninguém no ecossistema quer fazer em voz alta, mas que o TechCrunch fez: a Anthropic restringiu o Mythos para proteger a internet… ou para proteger a Anthropic?

Pense no cenário: você anuncia que seu modelo é “perigoso demais” para ser liberado. Instantaneamente, você comunica que é o mais avançado do mercado. Empresas fazem fila para ter acesso exclusivo. Contratos milionários são assinados. E o melhor: ninguém pode verificar se o modelo realmente é tão superior assim, porque ele não está disponível para benchmarks independentes.

Jonathan Iwry, do Wharton Accountable AI Lab, levantou essa preocupação na Fortune: estamos “dependentes do julgamento de um punhado de atores privados que não prestam contas ao público.”

Por outro lado, Charlie Eriksen, da Aikido Security, traz nuance: modelos menores podem atingir resultados comparáveis, mas exigem “mais habilidade técnica, prompting cuidadoso e tooling melhor projetado.” O Mythos pode ter a vantagem de ser mais plug-and-play para equipes que não têm expertise profunda em segurança.

A verdade provavelmente está no meio. O Mythos é bom? Quase certamente sim. É tão exclusivamente perigoso a ponto de justificar acesso ultra-restrito? A pesquisa da AISLE sugere que não.

O Teste que Expôs a Fragilidade dos “Grandes”

Um dos testes mais reveladores da AISLE foi o de falso positivo do OWASP — basicamente, análise de fluxo de dados em código Java de nível júnior. O cenário: o código recebe input do usuário, mas descarta esse input antes de usá-lo na query. Um bom analisador deveria dizer “não tem vulnerabilidade aqui.”

O que aconteceu:

  • DeepSeek R1 (open-source, roda local): acertou. Identificou que o input era descartado.
  • GPT-OSS-20b (3,6B parâmetros): acertou.
  • Modelos frontier de grandes labs: vários erraram. Reportaram falsa vulnerabilidade.

Lê de novo. Modelos que custam milhões para treinar e operar geraram alarme falso num cenário que um dev júnior resolveria no code review. Enquanto isso, um modelo que cabe num pendrive acertou.

Isso ilustra perfeitamente a fronteira irregular. Tamanho de modelo e custo de treinamento não garantem superioridade em todas as dimensões. Em segurança, a diversidade de habilidades necessárias (raciocínio sobre ponteiros, entendimento de protocolos de rede, análise de fluxo de dados, matemática de inteiros) cria um cenário onde nenhum modelo domina consistentemente.

A implicação prática? Se você está montando um pipeline de segurança com IA, a estratégia ótima pode ser rodar múltiplos modelos baratos em paralelo em vez de depender de um único modelo caro. Um ensemble de modelos de centavos pode cobrir mais terreno do que um único modelo premium.

A OpenAI Já Está Respondendo

Enquanto a Anthropic restringe, a OpenAI acelera. O Axios revelou que a OpenAI está desenvolvendo o “Spud” — um modelo focado em cibersegurança com planos de rollout faseado.

Se a corrida armamentista de IA em segurança estava em câmera lenta, o Mythos apertou o botão de fast-forward. E agora a pergunta não é mais “se” modelos de IA vão dominar a cibersegurança, mas quem vai controlar essa infraestrutura.

Hamza Chaudhry, do Future of Life Institute, alertou sobre o gap de governança: esses sistemas estão sendo integrados em operações ofensivas mais rápido do que reguladores conseguem criar frameworks adequados.

O Que Isso Significa para Desenvolvedores

Se você é desenvolvedor, a mensagem prática é:

1. Seus bugs vão ser encontrados — por qualquer um.

A barreira de entrada para análise automatizada de vulnerabilidades caiu para praticamente zero. Qualquer pessoa pode baixar um modelo open-source, apontar para seu código e encontrar problemas que passaram pelo code review da equipe inteira.

2. Modelos open-source já são “bons o suficiente” para scanning.

Você não precisa pagar por Mythos ou esperar o Spud. Ferramentas como o DeepSeek R1 ou GPT-OSS rodando localmente já atingem capacidade de descoberta comparável.

3. A defesa tem que ser proativa.

Se IA barata encontra seus bugs, atacantes também vão encontrar. O tempo entre disclosure e exploração está encolhendo — como a gente viu com o Marimo, onde hackers exploraram uma CVE em menos de 10 horas.

4. O valor está no sistema, não no modelo.

Se você for montar um pipeline de segurança com IA, invista no targeting, na validação e no triage. O modelo é a parte mais fácil (e barata) de trocar.

Implicações para o Mercado: Quem Ganha e Quem Perde

Se a capacidade de discovery virou commodity, o jogo muda completamente para as empresas de segurança.

Quem ganha:

  • Empresas que construíram sistemas de segurança (orquestração, triage, integração com CI/CD) e podem trocar o modelo por baixo sem perder valor
  • Projetos open-source que agora podem ter scanning gratuito e contínuo usando modelos locais
  • Equipes pequenas de segurança que antes não tinham budget para ferramentas enterprise

Quem perde:

  • Empresas que apostaram tudo na “exclusividade” do modelo como diferencial competitivo
  • O argumento de que “apenas nós temos a IA necessária para proteger você” — porque agora qualquer um tem

A Microsoft, por sinal, já está se movimentando. Publicou um post no blog do MSRC detalhando como está integrando IA no processo de resposta a vulnerabilidades — e nota-se que eles não mencionam depender de nenhum modelo específico. A arquitetura é model-agnostic por design.

Isso confirma exatamente a tese da AISLE: as empresas sérias de segurança estão construindo sistemas, não se casando com modelos.

Quanto Custa Proteger Seu Código com IA?

Pra colocar em perspectiva:

AbordagemCusto estimadoCapacidade
Mythos (via Anthropic)Contrato enterpriseAlta (mas restrita)
OpenAI o3~US$15/1M tokensAlta
GPT-OSS-120b~US$0,30/1M tokensAlta (surpreendente)
DeepSeek R1 (local)Custo de hardwareMédia-Alta
Gemma 4 (local)Custo de hardwareMédia

A democratização da capacidade de finding é real. A Anthropic pode ter o melhor sistema integrado, mas o modelo puro? Modelos de centavos competem de igual pra igual em tarefas isoladas.

A Verdadeira Revolução Não É o Mythos

Eu comecei a semana impressionado com o Mythos. Termino com uma visão mais sóbria.

A revolução real não é um modelo específico que encontra bugs. É que qualquer modelo razoável agora consegue fazer isso. A IA em cibersegurança não é sobre ter o modelo mais caro — é sobre construir o sistema mais inteligente ao redor de modelos que, francamente, já são commodity para tarefas de descoberta.

Se a Anthropic quer manter o Mythos como produto exclusivo, vai precisar demonstrar que o sistema ao redor do modelo — o targeting, a iteração, a confiança — vale o premium. Porque o modelo em si? A AISLE acabou de mostrar que US$0,11 por milhão de tokens faz o mesmo serviço.

E enquanto a gente debate quem tem o modelo mais perigoso, atacantes reais já estão usando essas mesmas ferramentas baratas para encontrar falhas no seu código. A corrida não é entre Anthropic e OpenAI. É entre defensores e atacantes. E os atacantes não estão esperando contratos enterprise.


Fonte de inspiração: AI Cybersecurity After Mythos: The Jagged Frontier — AISLE Security


👉 Leia também: 10 Linhas de Código Quebraram Todos os Benchmarks de IA

Comment (1)

  • abril 12, 2026

    10 Linhas De Código Quebraram Todos Os Benchmarks De IA - CodeInsider

    […] Modelos de IA de US$0,11 […]

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Posts