Custo de LLM em produção: o que define a conta e como controlá-la

Como a conta é formada: tokens, chamadas e modelo

Os provedores de LLM cobram por token, a unidade de texto que o modelo lê e gera, com preços diferentes para entrada e saída e para cada modelo. O custo de uma tarefa é a soma das chamadas que ela faz; o do mês é esse custo multiplicado pelo volume.

• Tokens de entrada: Tudo o que vai para o modelo a cada chamada, como as instruções do sistema, as definições de ferramentas, os documentos recuperados e o histórico da conversa.
• Tokens de saída: O texto gerado; costumam custar mais do que os de entrada, e o raciocínio dos modelos que pensam antes de responder também é cobrado como saída.
• Chamadas por tarefa: Um chatbot faz uma chamada por mensagem; um agente faz várias, e cada passo reenvia o contexto acumulado.
• Modelo: Modelos maiores custam mais por token do que os menores do mesmo provedor, e a tabela de preços muda com frequência.

Fora dos tokens, a estimativa também inclui embeddings, vector store, infraestrutura e observabilidade.

O que mais pesa na conta

Na prática, a conta sai do previsto menos pelo preço do token e mais pelo desenho do sistema. Estes são os pontos que costumam explicar a diferença:

• Contexto que só cresce: Histórico inteiro, documentos demais e instruções longas reenviados a cada chamada.
• Loops de agente: Tarefas que levam muitos passos, repetições depois de um erro e ferramentas chamadas mais de uma vez para a mesma informação.
• Modelo maior do que a tarefa pede: Usar o modelo mais capaz para classificar, extrair ou resumir, tarefas que um modelo menor resolve.
• Saída longa: Respostas extensas, formatos verbosos e raciocínio longo em tarefas simples.
• Cache desperdiçado: Prompts que mudam logo no começo a cada chamada, o que impede o reuso do prefixo.

Como reduzir o custo sem perder qualidade

Toda redução de custo passa pelas mesmas evals da qualidade: um corte que derruba a taxa de acerto sai mais caro no fim, em retrabalho e em revisão humana.

• Prompt caching: O provedor reaproveita um prefixo idêntico (instruções, ferramentas, documentos fixos) e cobra menos pelos tokens lidos do cache; por isso o conteúdo estável vai no começo do prompt e o variável no fim.
• Cache semântico: Uma pergunta parecida com outra já respondida recebe a resposta guardada, sem chamar o modelo; exige um limite de similaridade e regras de expiração.
• Roteamento por tarefa: Um modelo menor classifica, extrai e resume, e o modelo maior fica com os passos difíceis.
• Contexto enxuto: Compactar o histórico, recuperar menos trechos e mais relevantes (reranking) e limitar o tamanho da saída.
• Processamento em lote: Tarefas que não precisam de resposta imediata vão para as APIs de lote dos provedores, que cobram menos em troca de entregar mais tarde.

Como prever o custo antes de construir

Uma boa estimativa sai de medições, não de suposições: primeiro medir os tokens de uma tarefa real, depois aplicar a tabela de preços vigente do provedor.

1. Defina a tarefa e o volume: Quantas conversas, documentos ou execuções por dia, e com que picos.
2. Meça em um protótipo: Rode amostras reais e registre os tokens de entrada, de saída e de cache que a API informa em cada resposta.
3. Conte as chamadas por tarefa: A média e o pior caso, com repetições e passos extras do agente.
4. Aplique os preços do dia: Multiplique pelos preços atuais de cada modelo candidato; como eles mudam, a planilha guarda a data da consulta.
5. Compare cenários: Modelo maior ou menor, com e sem cache, sempre pelo custo por tarefa resolvida, e não por chamada.
6. Reserve margem: Crescimento do uso, contexto que aumenta com o tempo e mudanças de prompt.

Como acompanhar o custo em produção

Em produção, a conta precisa ser lida por tarefa, por fluxo e por cliente, e não só pelo total do mês. Para isso, os tokens de cada chamada são registrados no momento em que ela acontece.

• Traces: Cada execução vira um trace com as chamadas ao modelo, as ferramentas, os tokens e o custo de cada passo; as convenções de IA generativa do OpenTelemetry padronizam esses campos.
• Custo por tarefa resolvida: Cruza o custo com o resultado das evals e mostra quando um modelo mais barato sai mais caro por errar mais.
• Acerto do cache: Mostra se o prompt caching e o cache semântico estão funcionando.
• Limites e alertas: Orçamento por fluxo ou por cliente, limite de passos por tarefa e alerta quando o custo foge da média.

Nos produtos próprios da Master Timm, o Zorbit audita o custo e os tokens de cada execução de agente, e o assistente do Contas Casal registra o custo por modelo e usa cache semântico.