QA de agente de IA: como auditar um chatbot em produção

O indicador que virou meta e não mede qualidade

A taxa de contenção conta quantos atendimentos o agente de IA fechou sem transferir para humano. Virou a métrica padrão de sucesso de chatbot porque é fácil de extrair e conversa direto com o business case da automação: cada conversa contida é um atendimento humano economizado.

O problema é o que ela mede. Contenção registra o que o bot não passou adiante. Ela não sabe dizer se o cliente saiu com o problema resolvido, com uma resposta genérica ou simplesmente cansado de tentar. As três situações somam o mesmo ponto no indicador.

O caso mais comum na prática é o terceiro. O cliente pergunta sobre a cobrança duplicada, o bot devolve o texto padrão sobre prazos de faturamento, o cliente reformula duas vezes, não chega a lugar nenhum e fecha a janela. Contenção de 100% naquela conversa. O contato volta no dia seguinte por telefone, ou vira reclamação em rede social, ou vira pedido de cancelamento.

O sinal real está no que acontece depois: o cliente voltou? abriu ticket sobre o mesmo assunto em outro canal? reclamou por fora? Esse é o raciocínio de FCR aplicado ao canal automatizado: o que interessa é resolver na primeira interação, e encerrar na primeira interação é outra coisa. Contenção sem cruzamento com retorno mede abandono com nome bonito.

A pergunta útil para o agente de IA é a mesma que a monitoria faz do agente humano há trinta anos: a interação foi conduzida como deveria? Isso não sai de contagem, sai de leitura da conversa.

O que muda quando o avaliado é uma IA

Auditar bot tem semelhança grande com auditar gente, mas quatro diferenças mudam o desenho do processo.

Escala

Um agente de IA atende milhares de conversas por dia sem fila e sem escala de turno. Aplicada a um bot com 20 mil conversas diárias, a regra dos 2% gera 400 conversas revisadas e a ilusão de cobertura. Se a amostragem de 2% já não fecha a conta na monitoria humana, no canal automatizado ela é ainda menos defensável, porque avaliar uma conversa de texto custa uma fração do que custa avaliar um áudio.

Consistência é dado, não virtude

Agente humano erra de forma variável: um dia por cansaço, outro por pressa, outro por não saber. Bot erra igual sempre. Se ele informa prazo errado de portabilidade, informa errado em todas as conversas em que o assunto aparece.

Isso é excelente para diagnóstico. Um erro encontrado em uma conversa é um erro sistemático, e sistemático significa corrigível de uma vez. Na monitoria humana, achar um erro exige perguntar se aquilo é padrão ou exceção, e responder isso custa volume de amostra. No bot, achar uma vez é achar sempre.

A contrapartida é simétrica: um erro não corrigido também acontece sempre. O bot escala o acerto e escala a falha na mesma proporção.

Não há intenção

Boa parte dos formulários de monitoria avalia postura: empatia, cordialidade, envolvimento com o problema do cliente. Aplicar esses itens a um agente de IA gera avaliação vazia, porque não existe disposição interna a julgar. O bot não estava com pressa nem desmotivado.

O que faz sentido avaliar é o resultado observável: o tom estava adequado à situação? A formulação reconheceu a gravidade do que o cliente trouxe? São perguntas sobre o texto produzido, não sobre a intenção por trás dele. A fronteira entre avaliar comportamento e avaliar pessoa também aparece na monitoria humana, e ali tem contorno legal, como no que a NR-17 proíbe em formulário de monitoria.

O destinatário do feedback muda

Falha de bot é falha de configuração, de base de conhecimento ou de modelo. Não existe coaching de chatbot. O achado da auditoria precisa chegar a quem edita prompt, quem mantém a base e quem define as regras de escalonamento, ou seja, ao time de produto e engenharia. Operações que copiam o fluxo da monitoria humana travam aqui: o relatório circula na operação e morre, porque a operação não tem alçada sobre a causa.

Os oito critérios que importam

O formulário de monitoria de agente de IA não é o formulário de voz adaptado. Estes são os itens que produzem achado acionável.

Critério	Pergunta da auditoria	Gravidade típica
Alucinação	Afirmou algo que não está na base?	Crítica
Aderência à política	Ofereceu o que a empresa não oferece?	Crítica
Escalonamento indevido	Passou o que devia resolver, ou reteve o que devia passar?	Alta
Reconhecimento de intenção	Entendeu o pedido ou respondeu outra pergunta?	Alta
Tom e adequação	A formulação cabia na gravidade da situação?	Média
Coleta indevida de dado	Pediu dado pessoal sem necessidade?	Crítica (LGPD)
Loop	O cliente repetiu a mesma pergunta?	Média
Encerramento	Terminou resolvida, abandonada ou transferida?	Alta

Alucinação

O bot afirmou algo que não consta da base de conhecimento? Inventou prazo, valor, política ou procedimento? Este é o risco mais grave em setor regulado, porque a informação errada dita pelo canal oficial vincula a empresa. Prazo inventado em saúde suplementar, valor inventado em cobrança e condição inventada em serviço financeiro produzem consequência regulatória, não só insatisfação.

Auditar alucinação exige comparar a afirmação do bot com a fonte. É por isso que operações maduras mantêm a base versionada: sem fonte estável, não há como afirmar que houve invenção.

Aderência à política

Categoria vizinha da alucinação, com origem diferente. Aqui o bot não inventou fato, extrapolou alçada: ofereceu desconto não autorizado, prometeu prazo fora do praticado, aceitou exceção que depende de aprovação. É o equivalente automatizado do agente que promete para encerrar a ligação.

Escalonamento indevido, nos dois sentidos

O primeiro sentido é o que todo mundo mede: o bot passou para humano algo que deveria ter resolvido, e a transferência desnecessária come o ganho da automação.

O segundo é o que quase ninguém mede e é o que gera dano: o bot deixou de passar o que deveria. Cliente irritado, menção a ação judicial, órgão de defesa do consumidor, pedido de cancelamento, sinal de situação de risco. Reter esses casos aumenta a contenção e piora tudo o mais. Quando a contenção é meta, o incentivo de quem ajusta o bot aponta na direção errada.

Reconhecimento de intenção

O bot entendeu o que o cliente queria? Muita conversa que parece resolvida é o bot respondendo com competência uma pergunta que ninguém fez. O sintoma clássico é o cliente reformular a mesma dúvida com outras palavras logo depois de receber uma resposta longa e bem escrita.

Tom e adequação

Responder com leveza uma situação grave é falha de atendimento, com bot ou sem bot. Emoji em conversa sobre falecimento de titular, saudação animada diante de reclamação de cobrança indevida, oferta comercial encaixada em pedido de cancelamento. São itens objetivos de auditar porque estão no texto.

Coleta indevida de dado pessoal

O bot pediu CPF, dado de saúde ou informação sensível sem necessidade para aquele atendimento? A LGPD trabalha com o princípio da necessidade: coleta limitada ao mínimo necessário para a finalidade. Bot costuma pedir dado por hábito de fluxo, na abertura, antes de saber do que se trata a conversa. Consulta sobre horário de funcionamento não exige CPF.

Loop

O cliente repetiu a mesma pergunta duas, três, quatro vezes? Loop é o indicador mais barato de coletar e um dos mais correlacionados com abandono. Quase sempre convive com contenção alta, o que já diz bastante sobre a métrica.

Encerramento

A conversa terminou resolvida, abandonada ou transferida? Classificar os três estados separadamente é o que impede que abandono seja lido como sucesso. Registre também quem encerrou: bot ou cliente.

Como montar o processo

Audite 100% das conversas. O custo marginal de avaliar uma conversa de texto com IA é baixo e o volume é alto. Amostra em canal automatizado deixa passar justamente o caso raro, que no bot é o caso sistemático ainda não descoberto. A calculadora de cobertura ajuda a dimensionar quanto do volume atual fica hoje fora de qualquer revisão.

Compare bot e humano no mesmo critério. Quando os dois atendem o mesmo tipo de demanda, aplicar o mesmo conjunto de itens aos dois é a única forma de saber se a automação melhorou ou piorou o atendimento daquele assunto. Com essa comparação, dá para ver que o bot vai melhor em segunda via e pior em contestação de cobrança, e ajustar o roteamento por assunto em vez de por percentual.

Feche o ciclo com quem mantém o bot. O achado precisa virar ajuste de prompt, correção de base de conhecimento ou nova regra de escalonamento. Se o relatório de QA não tem endereço no backlog de produto, o processo não fecha.

Meça antes e depois de cada mudança. Alteração de prompt é deploy, e merece rastreamento de versão, comparação de indicadores entre versões e capacidade de reverter. Mudar uma frase no prompt do sistema altera comportamento em milhares de conversas, e o efeito colateral costuma aparecer num assunto que ninguém estava testando.

O que a regulação exige do canal automatizado

Setor regulado não distingue humano de bot. A obrigação recai sobre o canal de atendimento, e o fornecedor escolhe a tecnologia por conta e risco.

Decreto do SAC. O Decreto 11.034/2022 exige atendimento com informação clara, objetiva e conclusiva. A exigência vale para o canal automatizado. Bot que devolve resposta genérica e encerra descumpre o requisito de conclusividade tanto quanto um agente que faz o mesmo.

Acesso ao atendente sem barreira de dados. O art. 4º, §4º do Decreto veda condicionar o acesso inicial ao atendente ao fornecimento prévio de dados pelo consumidor. Fluxo de bot que só oferece transferência para humano depois de coletar CPF e mais dois campos anda perto dessa vedação, e vale revisar a abertura do fluxo com esse artigo ao lado.

Guarda de gravação e registro. O atendimento por bot segue os mesmos prazos de guarda do canal, sem regime especial: gravação por 90 dias e registro por 2 anos, detalhados em prazos de guarda de gravação e registro no SAC. Transcrição de chat é registro de atendimento e precisa estar recuperável no prazo, com o protocolo.

Dado sensível. Se o bot pede dado de saúde, biométrico ou outra categoria do art. 11 da LGPD, aplica-se o regime mais restrito, com hipóteses próprias de tratamento. Fluxo automatizado coleta de forma padronizada, o que amplifica qualquer erro de desenho: um campo mal colocado no início da jornada coleta dado sensível de todo mundo que entra no canal.

O que ainda não dá para automatizar

Auditoria automatizada resolve bem o que é verificável no texto: contradição com a base, item de política, sinal de escalonamento perdido, loop, coleta indevida, tipo de encerramento. Ela cobre volume que nenhum time humano cobriria.

O limite aparece na pergunta seguinte. Saber se a resposta do bot era a correta para aquele cliente às vezes exige contexto que não está na conversa nem na base: histórico comercial, acordo específico, situação que o cliente não contou, decisão que depende de julgamento de alçada. Nenhum dos dois sistemas tem esse contexto inteiro.

O papel realista da auditoria automatizada é priorizar. Ela aponta o que revisar e ordena por gravidade, entregando ao analista humano uma fila de casos que valem leitura em vez de uma amostra aleatória. A decisão final sobre o caso difícil continua humana.

Perguntas frequentes

Taxa de contenção deixou de servir? Ela serve para dimensionar carga e capacidade. O que ela não faz é medir qualidade, porque conta conversa não transferida sem distinguir resolução de abandono. Cruzada com retorno do cliente em 7 ou 30 dias, volta a ser informativa.

Dá para usar o mesmo formulário da monitoria de voz? Parcialmente. Itens de procedimento, política e resolução migram bem. Itens de postura e empatia precisam ser reescritos como avaliação de tom no texto produzido, e itens específicos de IA, como alucinação e loop, não existem no formulário de voz.

Por que auditar 100% em vez de amostra? Porque o custo marginal de avaliar uma conversa de texto é baixo e porque o erro de bot é sistemático. Numa amostra de 2%, uma falha que aparece em 300 conversas por dia pode não cair na revisão da semana, e vai reaparecer todo dia até alguém tropeçar nela.

Quem deve receber o resultado da auditoria do bot? O time que mantém o agente: prompt, base de conhecimento e regras de escalonamento. Relatório entregue só à supervisão de operação costuma parar ali, porque a operação não tem alçada para corrigir a causa.

O Decreto do SAC se aplica a chatbot? As obrigações recaem sobre o canal, sem distinção de tecnologia. Requisitos de informação clara, objetiva e conclusiva, de protocolo e de prazos de guarda valem para o atendimento automatizado. O art. 4º, §4º ainda veda condicionar o acesso inicial ao atendente ao fornecimento prévio de dados.

Como saber se o bot alucinou? Comparando a afirmação com a fonte que deveria sustentá-la, o que exige base de conhecimento versionada. Sem fonte estável para confrontar, a auditoria consegue no máximo marcar a afirmação como suspeita e mandar para revisão humana.

Para continuar

Para estimar quanto do volume de conversas do seu canal automatizado fica hoje sem qualquer revisão, a calculadora de cobertura dá o número em menos de um minuto, sem cadastro.