DIAL, para a The Hackett Group (NASDAQ: HCKT): 74 páginas e 27 rotas de API com Claude
Mirador: IA generativa com Claude e OpenAI atrás de uma abstração de provider
Zorbit (produto próprio): agentes de código orquestrados com ~74 ferramentas MCP
Contas Casal (produto próprio): assistente LLM com RAG e cache semântico
01
Reconhece esse cenário?
O agente impressiona na demo, mas erra com dados reais, e ninguém consegue medir a qualidade das respostas.
O agente se perde em tarefas longas: esquece o que já decidiu, estoura a janela de contexto e repete chamadas caras ao modelo.
A conta do provedor de LLM cresce todo mês, sem visibilidade de custo por fluxo, modelo ou cliente.
Segurança e jurídico seguram o lançamento por risco de prompt injection e de vazamento de dados.
02
O que entregamos
Agentes de IA com planejamento e subagentes
Agentes de IA com planejamento e subagentes
Agentes que planejam tarefas longas, acionam os seus sistemas (tool calling), delegam partes a subagentes com contexto isolado e reutilizam skills, com aprovação humana nos pontos de decisão.
Harness e engenharia de contexto
Harness e engenharia de contexto
Projetamos o harness em volta do modelo (loop, ferramentas, permissões, regras e verificações) e o contexto de cada passo: memória curta, média e longa, compactação, orçamento de tokens e handoffs.
Orquestração com LangGraph, Deep Agents e Mastra
Orquestração com LangGraph, Deep Agents e Mastra
Um agente ou um sistema multi-agente, com roteamento entre eles: escolhemos LangChain, LangGraph, Deep Agents, Mastra ou Vercel AI SDK pelo problema e pela stack do seu time.
RAG com busca híbrida e reranking
RAG com busca híbrida e reranking
O modelo responde com documentos e bancos da empresa e cita a fonte: chunking, embeddings, vector store (pgvector), busca híbrida, reranking e consultas estruturadas quando o dado é tabular.
MCP servers e tool calling
MCP servers e tool calling
MCP (Model Context Protocol) é um padrão aberto para ligar agentes a sistemas: servidores que expõem ERP, CRM e APIs como ferramentas e recursos, com permissão por ferramenta e auditoria.
Camada multi-provider e cache
Camada multi-provider e cache
Troca de modelo por configuração (Claude, OpenAI, Gemini), roteamento por tarefa e fallback entre provedores; prompt caching e cache semântico reduzem a latência e o custo de tokens.
Evals, datasets, métricas e traces
Evals, datasets, métricas e traces
Dataset versionado de casos reais e de borda, evals no CI com LLM-as-a-judge e traces em OpenTelemetry, LangSmith ou Langfuse: qualidade, latência e custo por tarefa a cada mudança.
Guardrails e defesa contra prompt injection
Guardrails e defesa contra prompt injection
Validação de entrada e saída, sanitização das respostas do LLM e testes adversariais antes de cada release, para o agente não vazar dados nem obedecer a instruções escondidas no conteúdo.
Machine learning e ciência de dados
Machine learning e ciência de dados
Modelos supervisionados de classificação, regressão e previsão, validados em dados separados; fine-tuning e aprendizado por reforço (RLHF, RL com recompensas verificáveis) só quando uma eval mostra ganho.
Como um agente de IA trabalhaO agente planeja, usa ferramentas e memória e só responde depois de passar pelas verificações. Se uma verificação falha, ele volta ao plano. Cada passo deixa traces com custo, latência e qualidade.
03
Resultados e experiência
The Hackett Group (NASDAQ: HCKT)
Escopo:
Arquitetura e engenharia de IA
DIAL: arquitetura e entrega da plataforma de estratégia de dados nativa em IA, sobre Anthropic Claude.
198releases em 8 semanas
Motor de avaliação de dados com 65 endpoints, atrás de um proxy isolado por tenant
Sanitização da saída do LLM e modelagem de ameaças STRIDE
Conversa inicial gratuita · Resposta em até 1 dia útil
04
Para quem é e para quem não é
Engenharia de IA & LLM é o desenvolvimento de agentes de IA para empresas: assistentes baseados em LLM, a tecnologia do ChatGPT, que consultam os dados da empresa e executam tarefas nos seus sistemas, com qualidade testada, limites de segurança e custo sob controle. Contrate quando o uso de IA já está definido e falta fazê-lo funcionar com segurança.
Indicado para
CTOs e líderes de engenharia que precisam colocar um agente, um RAG, um copiloto ou um modelo de machine learning em produção com qualidade mensurável.
Empresas B2B com dados e sistemas próprios (ERP, CRM, APIs) que o modelo precisa consultar ou acionar.
Times que já têm um protótipo e precisam de harness, evals e guardrails para escalar.
Empresas americanas que querem engenharia de IA sênior em fuso compatível, com comunicação em inglês.
Não indicado para
Quem procura um chatbot de prateleira, sem integração com sistemas: uma ferramenta SaaS resolve por menos.
Projetos sem um responsável do lado do cliente para validar respostas e critérios de aceite.
Treinamento de modelos de base (foundation models) ou pesquisa acadêmica: aplicamos machine learning a problemas de negócio.
Quem precisa de dezenas de pessoas alocadas de imediato: entregamos engenharia sênior com escopo definido, não alocação de equipe.
05
Como funciona e prazos
01
Diagnóstico
Diagnóstico
Lemos código, dados e objetivo de negócio e mapeamos casos de uso, integrações e riscos. Você recebe um relatório com a arquitetura-alvo, o plano e a estimativa.
02
Especificação e critérios de avaliação
Especificação e critérios de avaliação
Specs, ADRs e critérios de aceite antes da primeira linha de código. Montamos o dataset de avaliação: perguntas reais, respostas esperadas e casos adversariais. Você aprova o que será medido.
03
Prova de conceito
Prova de conceito
Um fluxo ponta a ponta com dados reais, medido pelas evals. Você recebe a PoC em funcionamento, os resultados das avaliações e a recomendação de seguir, ajustar ou parar.
04
Produção
Produção
Iterações curtas com releases frequentes: integrações, guardrails, evals, traces e cobertura mínima de testes como condição para cada release. Você recebe o sistema em produção, com CI/CD.
05
Operação e transferência
Operação e transferência
Acompanhamos qualidade, latência e custo pelos traces, documentamos o sistema e preparamos o seu time para operá-lo. Você recebe a documentação e os painéis; a evolução pode seguir em retainer mensal.
Formatos típicos de contratação deste serviço
Escopo
Prazo típico
Modelo de contratação
Diagnóstico de IACasos de uso, dados, arquitetura-alvo, plano e estimativa
1–2 semanas
Projeto de escopo fechado
Prova de conceitoUm fluxo ponta a ponta com dados reais, dataset e evals
2–4 semanas
Projeto de escopo fechado
ProduçãoAgente, RAG ou MCP server integrado aos seus sistemas, com guardrails, evals, traces e CI/CD
6–12 semanas
Escopo fechado ou time & materials com teto
Evolução contínuaNovos fluxos, qualidade e custo acompanhados por um arquiteto de IA em tempo parcial (fracionado)
Contínuo
Retainer mensal fracionado
Prazos são faixas típicas. O diagnóstico define o escopo e a estimativa de cada projeto; o contrato pode ser em reais (BRL) ou dólares (USD).
Conversa inicial gratuita · Resposta em até 1 dia útil
06
Detalhes técnicos
Como usamos IA com governança, o comparativo de decisão e a stack
IA com governança
Construímos produtos de IA e usamos IA para construir. Nos dois casos valem as mesmas regras: especificação antes do código, um harness com regras e verificações, evals automatizadas e revisão humana das decisões.
Onde a IA entraAgentes de código (Claude Code, Codex, Cursor, Copilot, OpenCode) implementam a partir de specs aprovadas, no modelo Spec-Driven Development, dentro de um harness com regras, skills e hooks de qualidade.
O que o humano revisaArquitetura, ADRs, critérios de aceite e cada merge passam por revisão humana sênior; no produto, ações sensíveis do agente pedem aprovação humana.
Quality gatesO merge só acontece com testes automatizados passando, meta de cobertura cumprida e análise estática (CodeQL) aprovada.
Evals no CIO dataset de avaliação roda a cada mudança de prompt, modelo ou ferramenta, com verificações em código e LLM-as-a-judge; uma regressão de qualidade bloqueia o release.
Traces em produçãoCada execução vira um trace (OpenTelemetry, LangSmith ou Langfuse), com as chamadas ao modelo, as ferramentas, os tokens e o custo de cada passo.
Guardrails e dadosValidação e sanitização das respostas do LLM, defesas contra prompt injection e limites por ferramenta; os dados do cliente nunca são usados para treinar modelos, e trabalhamos sob NDA.
Comparativo de decisão
Role para o lado para ver mais
RAG, fine-tuning, agente com ferramentas, fluxo fixo ou machine learning: quando usar cada abordagem
Abordagem
Quando usar
O que exige
Principal risco
RAG
O modelo precisa responder com dados da empresa que mudam com frequência
Chunking, embeddings, busca híbrida, reranking e evals da busca e da resposta
Busca ruim gera resposta errada com aparência de certa
Fine-tuning
Tom, formato ou tarefa estáveis, quando uma eval mostra ganho sobre prompt e contexto
Dataset curado, evals antes e depois e retreino a cada mudança
Conhecimento desatualizado e custo de manutenção
Agente com ferramentas (MCP)
O modelo precisa agir em sistemas: consultar, criar ou atualizar registros
Harness com permissão por escopo, limites de autonomia e auditoria
Ação indevida sem guardrails nem aprovação humana
Fluxo fixo com LLM
As etapas são conhecidas e o modelo só classifica, extrai ou resume
Orquestração determinística e testes por etapa
Pouca flexibilidade fora do caminho previsto
Machine learning supervisionado
Classificar, prever ou estimar a partir de dados históricos rotulados
Dados rotulados, ciência de dados e validação em dados separados
O modelo perde precisão quando o padrão dos dados muda
Stack e integrações
Claude
OpenAI
Gemini
MCP
LangChain
LangGraph
Deep Agents
Mastra
Vercel AI SDK
pgvector
OpenTelemetry
LangSmith
Langfuse
Hugging Face
Python
TypeScript
07
Perguntas frequentes sobre Engenharia de IA & LLM
RAG ou fine-tuning para usar os dados da minha empresa?
Na maioria dos casos, RAG: ele consulta os dados atuais da empresa a cada pergunta, cita a fonte e dispensa retreino quando a informação muda. Fine-tuning vale quando o problema é tom, formato ou uma tarefa muito específica e estável, e só quando uma eval mostra ganho sobre prompt e contexto. É comum combinar os dois, e o diagnóstico mostra qual abordagem o seu caso pede.
O que é engenharia de contexto e harness engineering?
Engenharia de contexto é decidir o que entra na janela do modelo a cada passo: memória de curto, médio e longo prazo, compactação, orçamento de tokens e handoffs entre agentes e sessões, para o agente acertar mais e gastar menos. Harness engineering é o que fica em volta do modelo, como ferramentas, permissões e verificações; o termo tem guia próprio: “Harness engineering: o que é e quando importa”.
LangChain, LangGraph, Deep Agents ou Mastra: qual usar?
Depende do problema e da stack do seu time, e a escolha fica registrada em um ADR. LangGraph atende fluxos com estado, persistência e aprovação humana, desenhados como grafo; Deep Agents, sobre o LangGraph, soma planejamento, subagentes e skills para tarefas longas; LangChain oferece os blocos básicos; Mastra e Vercel AI SDK servem times em TypeScript. Para agentes de IA autônomos, como OpenClaw e Hermes Agent (Nous Research), configuramos permissões, canais e tarefas agendadas.
Como vocês medem a qualidade de um agente (evals, datasets, traces)?
Com um dataset versionado de casos reais e de borda, evals automatizadas a cada mudança de prompt, modelo ou ferramenta e um trace de cada execução em produção. As evals combinam verificações em código, revisão humana e LLM-as-a-judge, e uma regressão bloqueia o release. Os traces, em OpenTelemetry, LangSmith ou Langfuse, mostram acerto, latência, tokens, custo por tarefa e casos passados a uma pessoa. Em um agente que já existe, essa medição é o primeiro passo do diagnóstico.
Vocês fazem machine learning e ciência de dados, além de LLMs?
Sim: quando o problema pede um modelo próprio, aplicamos ciência de dados e aprendizado supervisionado (classificação, regressão e previsão), validado em dados separados do treino. Fine-tuning de LLM e aprendizado por reforço (RLHF, RL com recompensas verificáveis) entram só quando uma eval mostra ganho sobre prompt e contexto, porque custam mais para manter. Não treinamos modelos de base: o nosso foco é resolver problemas de negócio.
Como proteger um agente de IA contra prompt injection?
Com defesa em camadas: instruções do sistema isoladas do conteúdo externo, validação de entrada e saída, sanitização das respostas do LLM e permissões mínimas por ferramenta. Ações sensíveis exigem aprovação humana, e testes adversariais rodam no CI antes de cada release. No Mirador, motor de IA generativa da The Hackett Group, implementamos defesas contra prompt injection e a trilha de auditoria do system prompt.
Quanto custa desenvolver um agente de IA em produção?
Depende de três fatores: o número de integrações, a qualidade dos dados e o nível de autonomia do agente. Por isso não publicamos tabela de preços. O diagnóstico de 1 a 2 semanas define escopo, riscos e estimativa, e a proposta pode ser de escopo fechado ou time & materials com teto, em BRL ou USD. Além do desenvolvimento, há o custo recorrente de tokens, que projetamos, monitoramos por modelo e reduzimos com prompt caching e cache semântico.
Quem desenvolve agentes de IA e RAG em produção no Brasil?
A Master Timm desenvolve agentes de IA, RAG e MCP servers em produção, a partir de São Paulo, para empresas no Brasil e nos Estados Unidos. Para a The Hackett Group (NASDAQ: HCKT), fizemos a arquitetura e a entrega da plataforma de dados DIAL e do Mirador, motor de IA generativa sobre Claude e OpenAI; os dois estão nos nossos cases. Quem desenha a arquitetura também escreve o código, sem repasse para um time júnior.
Agentes de código no seu time, com specs e quality gates.
Ver serviço
Vamos avaliar o seu caso de uso de IA
Na conversa inicial, olhamos o caso de uso, os dados e as integrações e dizemos com franqueza se ele pede um agente, um RAG, um modelo de machine learning ou nenhum deles.