WER: como avaliar a qualidade da transcrição do seu fornecedor

A pergunta que muda a compra

Toda proposta de speech analytics ou de monitoria com IA traz uma afirmação sobre precisão de transcrição, com uma casa decimal e sem corpus, sem idioma declarado e sem método.

A pergunta que muda a conversa é curta: qual o WER, medido em qual áudio, contra qual referência, com quais regras de normalização? Quem responde as quatro partes descreve um método. Quem responde só a primeira vende um adjetivo.

O que WER mede e como se calcula

WER significa word error rate, taxa de erro de palavra. O glossário define: soma de inserções, omissões e substituições dividida pelo número de palavras da referência humana. Em fórmula:

WER = (S + I + D) / N

S = substituições, palavras trocadas por outra
I = inserções, palavras que a máquina acrescentou e que não existiam no áudio
D = deleções (omissões), palavras que existiam e sumiram
N = total de palavras da transcrição de referência

A referência, também chamada de gabarito ou ground truth, é a transcrição humana do mesmo áudio. Quanto menor o WER, melhor.

O alinhamento vem antes da contagem

Contar S, I e D exige alinhar as duas sequências, e o alinhamento não é óbvio quando as frases divergem. O padrão é a distância de edição mínima (Levenshtein): busca-se a sequência de operações de menor custo que leva a hipótese até a referência, e os S, I e D dela entram na conta.

Referência com 8 palavras:

o senhor confirma o cpf para eu prosseguir

Hipótese da máquina:

o senhor confirma o cpf pra eu poder prosseguir

"Para" virou "pra" (1 substituição) e "poder" apareceu do nada (1 inserção). WER = (1 + 0 + 1) / 8 = 0,25, ou 25%.

Três consequências do formato da fórmula

WER pode passar de 100%. O denominador é o tamanho da referência e as inserções não têm teto. Em áudio ruim, com o modelo produzindo texto sobre ruído ou música de espera, o valor estoura 1,0. Por isso a conversão "acurácia = 1 − WER" pode produzir acurácia negativa.

Todas as palavras pesam igual. Errar "prosseguir" e errar "não" custam o mesmo na fórmula, e para a análise de conformidade as duas coisas estão a uma distância enorme. Este ponto volta adiante e é o mais importante do texto.

A regra de normalização decide o número. Antes de comparar, os dois textos passam por normalização: caixa, pontuação, acento, hesitação e, principalmente, números. Se a referência escreve "mil duzentos e cinquenta reais" e a máquina escreve "R$ 1.250,00", uma normalização ingênua conta cinco erros em algo correto, e uma generosa demais perdoa erro que importa. A regra precisa estar escrita e ser a mesma para todos os fornecedores, sob pena de o teste comparar regras de contagem em vez de transcritores.

Duas métricas vizinhas ajudam: o CER, a mesma lógica no nível do caractere, e a taxa de erro por termo crítico, WER restrito às palavras que decidem algo na operação.

Por que o WER em call center brasileiro fica pior que o da proposta

O número de material de fornecedor costuma vir de corpus de fala lida, em condições limpas, ou de benchmark em inglês. Sete fatores separam isso do seu áudio, e se acumulam na mesma gravação.

Fator	O que ele faz com o reconhecimento
Banda estreita e codec	telefonia em 8 kHz, faixa útil de cerca de 300 a 3400 Hz; parte do que distingue "s", "f" e "ch" some. Codec de baixa taxa e transcodificação degradam de novo
Sobreposição de fala	dois falando junto em gravação mono vira mistura, e o modelo extrai uma sequência
Ruído e linha	chiado, eco, perda de pacote em VoIP, celular fraco, teclado, headset ruim
Sotaque regional	modelo com predominância de uma região erra mais nas outras, concentrando o efeito em certas filas
Jargão do domínio	carência, glosa, coparticipação, nome de plano, sigla interna: raras no treino
Nome próprio e alfanumérico	nome, rua, protocolo, CPF; o mais difícil e o mais consequente para auditoria
Fala espontânea	hesitação, autocorreção, frase interrompida, agente lendo rápido

Dois têm solução imediata: a sobreposição melhora muito com gravação em dois canais, decisão do gravador; e o jargão melhora com vocabulário customizado, que precisa ser testado com e sem.

Falar em um WER "do português brasileiro" não faz sentido operacional. O que existe é o WER da sua operação, no seu áudio, com a sua gravação. Número de fora serve como ordem de grandeza, e não como critério de aceitação.

Como montar um teste de aceitação com o seu áudio

1. Defina o que será medido. WER global, WER por estrato (fila, canal, região, qualidade de áudio), taxa de erro por termo crítico e a métrica de diarização da seção seguinte.

2. Selecione a amostra por estratos, sem escolher as boas. O erro clássico é enviar as gravações limpas. Proporcional ao volume real, com ligações curtas e longas, filas e turnos diferentes, regiões para cobrir sotaque, um bloco reconhecidamente ruim, ativo e receptivo, mono e dois canais em separado. O dimensionamento segue amostragem em monitoria: amostra pequena produz incerteza larga demais para comparar fornecedores.

3. Produza a referência humana com rigor. Palavra por palavra, com hesitação e repetição, sem corrigir a gramática do falante, revisada por segunda pessoa. Trecho ininteligível recebe etiqueta padrão, e decide-se antes se ele entra na conta.

4. Escreva a regra de normalização. Aplicada igualmente aos dois textos: caixa, pontuação, acento, forma canônica de números, valor, data, CPF, hesitação e contrações como "pra" e "para". É a etapa que os fornecedores mais gostam de deixar em aberto, porque move o número sem que ninguém precise mentir.

5. Calcule com uma ferramenta padrão, a mesma para todos os candidatos e no mesmo pacote, com o mesmo áudio, referência e normalização, guardando a saída detalhada e pedindo também tempo de processamento e custo por hora. A lista de erros vale mais que o número agregado: ela mostra que tipo de palavra o modelo perde.

6. Meça o que decide a conformidade. Para cada termo com consequência na sua operação, quantas vezes foi transcrito corretamente quando estava no áudio e quantas vezes apareceu sem estar. Candidatos: negação, aviso de gravação e frases obrigatórias, nome de produto e de plano, valores, prazos, nome e documento do cliente.

7. Repita depois da implantação, porque modelos são atualizados e o mix de filas muda.

Por que WER baixo não garante análise correta

O erro não se distribui por igual. Modelos usam contexto para escolher a palavra mais provável, o que os torna bons em palavras frequentes e ruins onde o contexto não ajuda: nome próprio, número, sigla, termo raro. São as palavras de maior carga informacional para conformidade, e o resultado é WER agregado baixo com erro concentrado nos pontos que decidem.

Uma palavra pode inverter o critério. Em uma referência de 200 palavras, o agente diz "eu não posso garantir esse prazo". Se a transcrição perder o "não", o WER daquela ligação sobe meio ponto percentual, invisível em qualquer painel, e a auditoria passa a ler promessa onde havia ressalva. Duas ligações com o mesmo WER carregam riscos bem diferentes, e a fórmula não distingue: por isso a taxa de erro por termo crítico entra ao lado do WER, e não no lugar dele.

Texto inventado é um erro de tipo próprio. Modelos generativos podem produzir texto plausível em silêncio, ruído ou música. Isso conta como inserção, afeta pouco o WER de uma ligação longa e entra na análise como conteúdo. Meça quanto de texto aparece onde a referência marca ausência de fala.

A camada de análise erra por conta própria. Mesmo com transcrição perfeita, o modelo que avalia o critério pode interpretar mal. WER mede o primeiro degrau; a avaliação de critério pede teste próprio, com gabarito humano e medida de concordância entre máquina e time, que é o aparato de calibração na prática e de QA de agente de IA.

A conclusão prática: exija o trecho de origem da avaliação. Com ele, um erro de transcrição vira contestação resolvida em trinta segundos. Sem ele, vira nota indefensável, que é a fonte de atrito descrita em QA de call center e erro humano.

Diarização: onde quebra mais que a transcrição

Diarização é a separação de quem falou o quê. Sem ela, todo critério que dependa de saber quem disse a frase deixa de ser verificável: "o agente confirmou a identidade", "o agente informou o valor total". Se a frase pode ter saído da boca do cliente, não há avaliação possível. Ela quebra mais que a transcrição por motivos estruturais:

Sobreposição. No trecho em que os dois falam juntos seria preciso atribuir dois falantes ao mesmo intervalo, e a maioria das abordagens atribui um só. E ela se concentra nos momentos de tensão, que é o que a auditoria mais quer ler.
Turnos curtos e vozes parecidas. "Sim", "aham", "certo" duram menos de um segundo e acabam colados ao turno vizinho. Faixas vocais próximas em banda estreita podem ser fundidas em um falante só.
Falantes a mais. Transferência, supervisor na linha, viva-voz com terceiro, intérprete: o número deixa de ser dois e a segmentação se desorganiza. URA, mensagem gravada, música e bipe viram falantes fantasma se não forem tratados.
Troca de rótulo no meio da ligação. O caso mais perigoso, porque não parece erro: a segmentação segue correta, a identidade de agente e cliente se inverte a partir de um ponto e a auditoria daquele trecho passa a avaliar a pessoa errada.

Como medir

A métrica padrão é o DER (diarization error rate), sobre tempo de fala:

DER = (fala perdida + fala falsa + confusão de falante) / tempo total de fala da referência

"Fala perdida" é o tempo em que havia fala e o sistema não marcou, "fala falsa" é o marcado onde não havia fala, e "confusão de falante" é o atribuído ao interlocutor errado. É comum excluir a sobreposição e aplicar tolerância de alguns décimos de segundo nas bordas, escolhas que mudam bastante o resultado, pela mesma razão da normalização do WER.

Além do DER, verifique em que percentual das ligações o rótulo agente e cliente fica correto do início ao fim, e se o falante foi atribuído corretamente nas falas que ativam um item do formulário.

O atalho

Grave em dois canais. Com estéreo no PABX, agente e cliente ficam separados por construção e a atribuição de falante vira dado da telefonia. Confirme isso antes de qualquer prova de conceito. Onde o acervo é mono, meça os dois cenários em separado, porque o resultado de um não se transfere para o outro.

Perguntas frequentes

Como se calcula o WER? WER = (substituições + inserções + deleções) dividido pelo número de palavras da referência. O alinhamento entre hipótese e referência é feito por distância de edição mínima, e o resultado depende da regra de normalização aplicada aos dois textos.

Qual é um WER aceitável para call center em português? Não há patamar universal, e número sem corpus, sem idioma e sem regra de normalização não significa nada. O aceitável se define no seu teste, com os candidatos medidos no seu áudio sob o mesmo protocolo.

Por que o WER medido na minha operação fica pior que o divulgado? Porque o áudio é diferente. Banda estreita, codec com perda, sobreposição, ruído, sotaque regional, jargão e nome próprio degradam o reconhecimento, e nada disso aparece em corpus de fala lida.

WER baixo garante que a análise vai estar certa? Não. Os erros se concentram em palavras raras e informativas, como nome, número e termo técnico, e uma única negação perdida pode inverter um critério sem mover o WER de forma perceptível.

O que é diarização e por que ela erra mais que a transcrição? É a atribuição de cada trecho de fala a um interlocutor. Sofre com sobreposição, turnos curtos, vozes parecidas e terceiros na linha, e a troca do rótulo agente e cliente no meio da ligação compromete a auditoria daquele trecho.

Gravação em dois canais resolve a diarização? Resolve a maior parte, porque agente e cliente ficam separados na origem e a atribuição vira dado da telefonia. Confirme se o gravador já entrega estéreo antes de tratar isso como problema do fornecedor.

Para continuar

A calculadora de cobertura dá em um minuto quanto da operação passa hoje sem auditoria. Para operação terceirizada, o recorte está em BRIGGS para call centers.