Shopping cart

Subtotal $0.00

View cartCheckout

Building better devs

TnewsTnews
  • Home
  • IA
  • Flux 3 Humilha o Runway com 77% de Preferência e Ainda Controla Robôs
IA

Flux 3 Humilha o Runway com 77% de Preferência e Ainda Controla Robôs

Email : 10

Quando a Black Forest Labs soltou o Flux 1 em agosto de 2024, o mercado de geração de imagens já estava lotado. Midjourney dominava, DALL-E tinha o hype da OpenAI, e o Stable Diffusion (ironicamente criado pelos mesmos pesquisadores) era o queridinho do open source. Dois anos depois, a BFL acaba de lançar algo que ninguém esperava: um modelo único que gera vídeo com áudio nativo, cria imagens, e de quebra ensina robôs a manipular objetos físicos. Tudo com os mesmos pesos.

O Flux 3 não é só mais um modelo de geração de vídeo. É uma aposta radical em arquitetura multimodal unificada, e os benchmarks preliminares mostram que a aposta está funcionando: 77% de preferência contra o Runway Gen-4.5, 69% contra o Grok Imagine Video, e 93% contra o Luma Ray 3.2.

Eu fui ler o paper, os benchmarks, e a documentação técnica. Aqui está tudo que importa.

Quem é a Black Forest Labs (e por que você deveria prestar atenção)

Se você nunca ouviu falar da BFL, provavelmente já usou a tecnologia deles sem saber. A empresa foi fundada em agosto de 2024 por Robin Rombach, Andreas Blattmann, Patrick Esser e Dominik Lorenz, todos pesquisadores principais por trás da tecnologia de difusão latente que deu vida ao Stable Diffusion.

Sim, os caras que criaram o Stable Diffusion saíram da Stability AI e montaram a própria empresa. Dos dez cofundadores, cinco vieram direto da Stability. A rodada seed de US$ 31 milhões foi liderada pela Andreessen Horowitz, com General Catalyst e Match VC na jogada.

O histórico de lançamentos é agressivo:

Modelo Data Destaque
Flux 1 Agosto 2024 Lançamento simultâneo com a fundação da empresa
Flux 1.1 Pro Outubro 2024 Modo Ultra com imagens de até 4 megapixels
Flux 2 Novembro 2025 Evolução incremental com melhorias de qualidade
Flux 3 Julho 2026 Multimodal unificado: vídeo, áudio, imagem e robótica

O salto do Flux 2 para o Flux 3 não é incremental. É uma mudança de paradigma.

Self-Flow: a arquitetura que faz tudo funcionar

O coração do Flux 3 é uma abordagem chamada Self-Flow, que resolve um problema que todo mundo no campo de IA generativa enfrenta: como ensinar um modelo a gerar e entender conteúdo ao mesmo tempo, sem que uma tarefa prejudique a outra?

A resposta da BFL é tratar imagens, vídeo e áudio como projeções diferentes da mesma realidade subjacente. Em vez de ter modelos separados para cada modalidade (como a maioria dos concorrentes faz), o Flux 3 usa um transformer multimodal com componentes dedicados que convertem cada tipo de dado em uma representação interna compartilhada.

Na prática, isso significa que quando o modelo aprende que um copo de vidro faz um som específico ao cair, ele também aprende a física do vidro quebrando, a aparência dos fragmentos, e como a luz refrata neles. Tudo conectado.

A BFL descreve isso como “restrições mútuas entre modalidades”: o som precisa combinar com o impacto, o movimento precisa obedecer à física, e o futuro precisa seguir logicamente o passado. Parece óbvio quando você lê, mas implementar isso num modelo só é absurdamente difícil.

Vídeo com áudio nativo: até 20 segundos em um passe só

A feature mais impressionante do Flux 3 é a geração de vídeo com áudio nativo. Não estamos falando de gerar um vídeo e depois adicionar som com outro modelo. O áudio é gerado junto com o vídeo, no mesmo passe de inferência, pelo mesmo modelo.

O que o Flux 3 consegue fazer:

  • Text-to-video: descreva uma cena e receba até 20 segundos de vídeo com som
  • Image-to-video: anime uma imagem estática com consistência de referência
  • Video-to-video: transforme um vídeo existente mantendo consistência do sujeito
  • Keyframe-to-video: defina quadros-chave e deixe o modelo interpolar entre eles
  • Multi-shot chaining: encadeie múltiplas cenas agenticas para sequências de minutos

O suporte a diálogos multilíngues é outro diferencial. Você pode gerar um vídeo onde dois personagens conversam em português, e o áudio será gerado naturalmente, com entonação e timing corretos.

A variedade de estilos visuais vai de filmagens “candid” (estilo câmera na mão) até cinematográfico, passando por animação e tipografia animada.

Os benchmarks que importam (e os que faltam)

Vamos aos números. A BFL publicou avaliações preliminares de preferência humana, e os resultados são expressivos:

Comparação Preferência Flux 3
vs. Luma Ray 3.2 93%
vs. Runway Gen-4.5 77%
vs. Grok Imagine Video 69%
vs. Kling v3 Pro 60%
vs. Happy Horse v1 59%
vs. Happy Horse 1.1 57%
vs. Seedance 2.0 52%
vs. Gemini Omni Flash 52%

93% contra o Luma Ray é uma surra. 77% contra o Runway Gen-4.5 é significativo porque o Runway era considerado state-of-the-art em geração de vídeo por IA até semana passada.

Mas tem um asterisco grande aqui: a BFL admite que esses benchmarks são preliminares, conduzidos durante o treinamento (mid-training). A empresa não divulgou metodologia de avaliação, tamanho da amostra, número de avaliadores, nem benchmarks específicos para geração de imagem.

Isso é um padrão preocupante na indústria. Todo mundo publica benchmarks favoráveis e omite os detalhes que permitiriam reproduzir os resultados. A BFL não é exceção, mas pelo menos foi transparente ao dizer que os números são preliminares.

Flux-mimic: quando o modelo de vídeo aprende a controlar robôs

Aqui é onde a coisa fica realmente interessante. A BFL fez uma parceria com a Mimic Robotics (empresa suíça) para criar o Flux-mimic, um modelo de vídeo-ação que usa o backbone do Flux 3 para controlar manipulação robótica.

A ideia é simples na teoria e brutal na execução: se o modelo já entende física, movimento, causa e efeito a partir do treinamento em vídeo (que consome mais de 95% do custo computacional total), por que não usar esse conhecimento para prever ações de robôs?

O Flux-mimic faz exatamente isso. Ele decodifica ações robóticas a partir das representações internas do pathway de predição de vídeo do Flux 3. Em vez de treinar um modelo separado do zero para cada tarefa robótica, o backbone já contém conhecimento de mundo embutido.

Números que chamam atenção

  • Latência do backbone: menos de 80ms em uma única GPU NVIDIA RTX 5090
  • Tempo de reação completo do sistema: 101ms
  • Dados necessários para fine-tuning: 30 minutos de dados robóticos (contra 30+ horas em abordagens anteriores)

30 minutos versus 30 horas. Isso é uma redução de 98% nos dados necessários para ensinar uma nova tarefa a um robô. Se esses números se confirmarem em produção, é uma mudança de jogo para robótica industrial.

Validação na Audi

A Flux-mimic já está sendo testada em produção na Audi. O caso de uso faz sentido: na fabricação premium de automóveis, a diversidade de variantes torna a programação robótica convencional economicamente inviável. Cada variante de modelo, cada combinação de opcionais, cada peça flexível (cabos, vedações, conectores) precisa de programação específica.

Com o Flux-mimic, o robô recebe demonstrações limitadas e generaliza para variantes que nunca viu. Ele manipula peças flexíveis e faz montagem eletrônica fina, tarefas que eram impossíveis para robótica convencional.

Um detalhe técnico relevante: durante a integração do treinamento de ação, a qualidade de geração de vídeo caiu inicialmente cerca de 10%, mas se recuperou completamente em 3.500 steps de treinamento. Isso confirma que o mesmo backbone sustenta geração e controle sem sacrifício permanente de qualidade.

O que o Flux 3 faz melhor que os concorrentes

Vou ser direto sobre onde o Flux 3 se destaca, baseado no que foi publicado:

Expressões faciais humanas: um dos pontos mais difíceis em geração de vídeo. A BFL destaca isso como força específica, e se os benchmarks de preferência refletem isso, faz sentido que o Runway (que historicamente tem problemas com rostos) tenha perdido feio.

Associação som-evento físico: gerar um vídeo de alguém batendo palmas é fácil. Gerar o som correto da palma, sincronizado com o movimento, com a reverberação certa para o ambiente, é outra história. O modelo multimodal unificado tem vantagem natural aqui.

Renderização de texto multilíngue: o Flux 1 já era conhecido por renderizar texto melhor que concorrentes. O Flux 3 expandiu isso para múltiplos idiomas dentro de vídeos.

Tipografia e design animado: capacidade de gerar animações de tipografia e design diretamente, sem ferramentas externas. Isso é relevante para quem produz conteúdo para redes sociais e marketing.

Disponibilidade: early access com fila

Aqui é onde a realidade esfria o hype. O Flux 3 foi anunciado em 23 de julho de 2026, mas está em fase de Early Access. O rollout planejado:

  1. Flux 3 Video: API e acesso a pesos privados para geração e edição de vídeo/áudio (disponível agora em early access)
  2. Flux-mimic e Flux 3 Action: via parceiros selecionados de pesquisa e comerciais
  3. Flux 3 Image: API e acesso a pesos privados para síntese e edição de imagem (em breve)
  4. Flux 3 Dev: backbone multimodal open-weight para criação de conteúdo e predição de ação (futuro)

O Flux 3 Dev é o mais esperado pela comunidade open source. A BFL tem histórico de liberar versões Dev dos seus modelos (Flux 1 Dev e Flux 2 Dev foram ambos open-weight), então a expectativa é de que o Flux 3 Dev siga o mesmo caminho.

Nenhum preço foi anunciado. A BFL não divulgou SLAs de produção nem compromissos de disponibilidade. Qualquer pessoa pode se candidatar ao early access pelo dashboard da BFL, mas a aprovação não é automática.

Duas rotas para predição de ação

Um aspecto técnico que vale explorar é que a BFL está perseguindo duas abordagens paralelas para integrar predição de ação:

Rota 1: integração nativa. A predição de ação é incorporada diretamente ao Flux 3, escalando o trabalho inicial do Self-Flow. O modelo aprende ações como mais uma modalidade, junto com imagem, vídeo e áudio.

Rota 2: fine-tuning do backbone. O backbone pré-treinado de vídeo é usado como fundação “consciente de dinâmica”, e modelos de ação especializados são fine-tuned em cima dele com dados limitados específicos de cada tarefa.

A rota 2 é o que o Flux-mimic usa hoje, e é o que permite aquele fine-tuning com apenas 30 minutos de dados. A rota 1 é mais ambiciosa e está em desenvolvimento.

Essa estratégia de duas rotas é inteligente porque permite atender clientes de robótica agora (com a rota 2, que já funciona) enquanto desenvolve a solução mais elegante (rota 1) para o futuro.

95% do custo vai pra vídeo (e isso explica tudo)

Um número enterrado na documentação técnica do Flux-mimic revela muito sobre as prioridades da BFL: a predição de vídeo consome mais de 95% do custo computacional total do treinamento.

Por que isso importa? Porque vídeo é a modalidade que exige aprender contato, movimento, peso, e relações de causa-efeito. Essas são exatamente as mesmas propriedades que um robô precisa entender para manipular objetos no mundo real.

A BFL está, na essência, usando geração de vídeo como um simulador de física implícito. O modelo não aprende equações de Newton, ele aprende que coisas pesadas caem mais rápido, que objetos flexíveis se deformam quando apertados, e que uma bola quicando perde energia a cada impacto. Tudo a partir de vídeo.

Essa é a mesma intuição por trás do Sora da OpenAI e do Veo do Google, mas a BFL foi a primeira a demonstrar publicamente que essa representação interna pode ser reutilizada diretamente para controle robótico com resultados de produção.

O que falta (e o que a BFL precisa provar)

Vou listar o que a BFL ainda não mostrou, porque um artigo honesto precisa cobrir os dois lados:

Benchmarks de imagem: zero benchmarks publicados para geração de imagem. O Flux 1 e 2 eram primariamente modelos de imagem, e a comunidade quer saber se a qualidade de imagem melhorou, piorou, ou ficou na mesma com a arquitetura multimodal.

Preços: nenhuma informação de pricing. Para competir com Runway (US$ 12 a US$ 76/mês) e Midjourney (US$ 10 a US$ 60/mês), o Flux 3 precisa ser competitivo em custo por geração.

Reprodutibilidade dos benchmarks: sem metodologia detalhada, tamanho de amostra, ou contagem de avaliadores, os números de preferência são interessantes mas não definitivos.

Latência e throughput em escala: 80ms por inferência numa RTX 5090 é impressionante para robótica, mas quanto custa gerar 20 segundos de vídeo com áudio? Quanto tempo leva? Qual é o throughput da API?

Consistência em vídeos longos: 20 segundos é o máximo anunciado. Multi-shot chaining promete sequências de minutos, mas sem demos públicas detalhadas, é difícil avaliar a qualidade.

Para devs: como experimentar

Se você quer testar o Flux 3, o caminho é:

  1. Acesse o dashboard da BFL e solicite early access
  2. A documentação da API está em docs.bfl.ai
  3. Para o Flux 3 Dev (open-weight), acompanhe o blog oficial

Se você já usa a API do Flux 2, a migração provavelmente será simples, considerando que a BFL manteve compatibilidade nas versões anteriores. Mas sem documentação pública da API do Flux 3, isso é especulação.

Para quem trabalha com robótica, o Flux-mimic exige parceria direta com a BFL e a Mimic Robotics. Não é um modelo que você baixa e roda localmente (ainda).

O mercado de vídeo generativo em julho de 2026

O Flux 3 chega num momento onde o mercado está absurdamente competitivo. Olha o que foi lançado só nos últimos meses:

  • Runway Gen-4.5: o incumbente que acabou de ser humilhado nos benchmarks
  • Kling v3 Pro: o modelo chinês que surpreendeu todo mundo
  • Seedance 2.0: da ByteDance, com qualidade crescente
  • Gemini Omni Flash: o Google tentando (e falhando, segundo a BFL) competir em vídeo
  • Grok Imagine Video: a xAI do Elon Musk entrando no jogo

A diferença do Flux 3 é que ele não é só mais um modelo de vídeo. A integração de áudio nativo e robótica o coloca numa categoria que, por enquanto, só ele ocupa. Ninguém mais está fazendo vídeo + áudio + robótica com o mesmo backbone.

Isso pode ser uma vantagem competitiva duradoura ou pode ser uma distração. A história da IA está cheia de modelos “faz tudo” que perderam para especialistas focados. Mas os benchmarks iniciais sugerem que, pelo menos em vídeo, o Flux 3 não sacrificou qualidade pela multimodalidade.

Por que isso importa pra quem escreve código

Se você é desenvolvedor e está se perguntando “o que isso tem a ver comigo?”, a resposta curta é: tudo.

A geração de vídeo com IA está rapidamente se tornando uma API que qualquer app pode consumir. Pense em plataformas de e-commerce gerando vídeos de produtos automaticamente, ferramentas de marketing criando conteúdo em vídeo sem equipe de produção, apps educacionais gerando explicações visuais sob demanda.

A parte de robótica é mais distante do dia a dia de um dev web, mas a tendência de modelos fundacionais que servem múltiplos propósitos afeta diretamente quem constrói produtos com IA. Se um modelo pode fazer vídeo, áudio, imagem e robótica, a API que você integra hoje pode expandir suas capacidades amanhã sem trocar de fornecedor.

O Flux 3 pode não ser o modelo que você vai usar amanhã. Mas a arquitetura que ele representa, um backbone multimodal unificado que serve como fundação para múltiplas aplicações, é provavelmente o futuro de como vamos consumir IA generativa.

A BFL apostou alto. Os benchmarks preliminares dizem que a aposta está valendo. Agora falta abrir o acesso, publicar preços, e deixar a comunidade colocar o modelo à prova em produção real. Até lá, quem tiver early access, por favor, compartilha os resultados.


Fonte de inspiração: FLUX 3 – Real World Models (Black Forest Labs)

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Posts