A conta invisível dos agentes: onde a IA gasta dinheiro de verdade

O hype fala de parâmetros, benchmarks e demos com fundo escuro. A fatura, porém, chega por outras vias: tokens que você não viu, egress que ninguém orçou, caches que salvam sua margem — até darem pane no pior dia. Se você lançou um agente corporativo e ele parece barato porque “usa um modelo pequeno”, prepare-se. O custo real está na coreografia de I/O, não no banner do modelo.

Um pipeline típico de IA aplicada — ingestão, chunking, embeddings, busca vetorial, re-ranqueamento, chamada ao LLM, ferramentas externas e logging — tem pedágio em cada rotatória. Pinecone ou Weaviate cobram pela consulta e armazenamento; pgvector rouba CPU e I/O de seu Postgres; o re-ranker (Cohere Rerank, por exemplo) insere mais um modelo pago; o LLM devora tokens de entrada, não só de saída; o conector do ERP cobra por requisição — e, surpresa, o item mais caro do mês vira o egress entre zonas de nuvem. Já vi bot de suporte custar mais no deslocamento de dados do que no próprio raciocínio.

Três alavancas técnicas que mexem direto na fatura

1) Contexto não é brinde. Long-context é lindo em palco, caro em produção. Custos de LLM escalam principalmente com tokens de entrada. Estratégias de RAG bem feitas (chunking decente, embeddings estáveis, filtros estruturados antes do vetor) cortam o contexto pelo joelho. Rerankers reduzem recall inútil; menos lixo, menos tokens. Anthropic popularizou prompt caching: trechos estáticos do prompt ficam em cache por uma janela de tempo e você paga menos nas repetições. Use o cache para instruções e políticas; deixe o que muda fora. Fine-tuning leve (LoRA) também simplifica prompts, mas vale se a distribuição de tarefas for estável por meses — senão você paga para perseguir um fantasma de produto.

2) Throughput é engenharia, não reza. vLLM com PagedAttention e continuous batching muda o jogo de custo/latência. Ao agrupar requisições e paginar KV caches, você aumenta tokens/s por GPU sem matar o p95. O detalhe que separa demo de produção: SLOs. Se seu p99 precisa ser baixo, lotar lotes até o limite vai te trair. KV pinning para system prompts evita refazer prefixos caros, mas consome memória — menos concorrência. Multi-tenant ruidoso? Separe filas por classe de tráfego ou faça admission control. Quem ignora isso termina comprando GPU para cobrir cauda de latência, não para entregar valor.

3) Decodificação esperta paga aluguel. Speculative decoding (um modelo pequeno propõe, o grande verifica) derruba latência e custo por token válido. Não serve para qualquer tarefa: raciocínio profundo degrada se o rascunho errar muito. Quantização (AWQ, GPTQ, int8/4) é outra alavanca: 8 bits em 7–13B costuma segurar qualidade para instruções gerais e tool use simples, com ganhos imediatos de throughput. Em extração estruturada, ative JSON mode quando disponível; reduz pós-processamento e reintentos idiotas. Top-k/top-p agressivos economizam tokens, mas erram mais em instruções formais; meda-se por custo por resposta válida, não por tokens por segundo.

Os caches que realmente pagam as contas

Caching vencedor é estratégia, não gambiarra. Existem três camadas úteis:

– Cache de prompt/KV: reutilize prefixos estáveis entre conversas. Em provedores que cobram menos por reuso, o ROI é imediato. Em casa, pinne KV no vLLM e aceite usar mais memória para poupar compute e latência.

– Cache semântico de respostas: FAISS ou ScaNN para aproximar prompts recorrentes; acerte o limiar de similaridade ou você reaproveita besteira com confiança absoluta. Melhor combinar com verificação leve (regexp/JSON schema) e TTL curto para dados que envelhecem.

– Cache de ferramentas: chamadas a ERP/CRM via API explodem custo e p95. Memorização por chave de negócio (pedido, cliente) com invalidação por evento reduz o vai-e-volta. Sem isso, seu “agente inteligente” vira um roteador caro para timeouts alheios.

Preço do erro: caches turvam observabilidade. Sem tracing granular (OpenTelemetry, logs de tokens por etapa, taxas de acerto de cache), você não sabe se economizou ou só mascarou falhas. Quando estourar, vai estourar em série.

O vilão quieto: egress e distância

Colocar o vetor em uma região, o LLM em outra e o banco operacional em uma terceira é a definição moderna de autoflagelação financeira. Cada ida e volta paga e adiciona dezenas de milissegundos. Co-loque serviços. Se não der, aproxime dados do compute com sincronização assíncrona. Em Kubernetes, um plano comum: vLLM perto do cluster do vetor (Redis com Redis-Search, pgvector, Pinecone), balanceador decente na frente, e filas claras por prioridade. Leve o modelo ao dado quando compliance trava o dado — NVIDIA NIM, TGI ou vLLM on-prem. Menos glamour, mais margem.

Mercado real: Copilot mistura on-device e cloud para reduzir latência e custo nas interações mais triviais; Apple empurrou uma camada on-device com Private Cloud Compute para aparar requisições bobas; buscadores com IA como Perplexity passaram a investir pesado em recuperação/caching agressivo para não derreter no mês do hype. O padrão é claro: quem controla I/O e cache controla a fatura.

Métrica que importa

“Tokens por segundo” é métrica de palco. Em produção, o número que define vida ou morte é custo por conversa resolvida no primeiro toque. Ele incorpora reintentos, ferramentas externas, re-rankers, egress, cache hit, erro operacional. Otimize isso e o resto segue.

Riscos e trade-offs, sem panos quentes

– Quantização derruba qualidade em raciocínio simbólico e extratores sensíveis; rode A/B contínuo, não proof-of-life.

– Cache semântico vira bug se o domínio muda rápido; TTL curto e feature flags salvam madrugada.

– SLOs duros pedem capacidade ociosa — aceite pagar por picos ou mude a UX com filas/prioridades.

– Vendor lock-in em caching/protocolos proprietários te prende ao preço do fornecedor. Mantenha a camada de orquestração desacoplada (OpenAI, Anthropic, Bedrock, Vertex) e modelos OSS (Llama, Mistral) prontos para fallback.

Fecho

O truque não é “usar o modelo certo”, é coreografar o atrito. A economia da IA acontece nos entremeios: onde dados passam, esperam, repetem e escapam. Produtos vencedores tratam latência, cache, batch e egress como superfície de produto, não como rodapé técnico. O resto é apresentação de slides.