Amostragem em monitoria de qualidade: de onde vem o número de 2%?

Introdução

Dois números aparecem em praticamente todo material sobre monitoria de qualidade em call center: "audita-se de 1 a 2% das chamadas" e "faça de 2 a 4 monitorias por agente por mês". Eles circulam em blogs de fornecedores, apresentações comerciais, treinamento de supervisor e edital de contratação.

Fomos atrás da fonte primária dos dois. Não existe.

O que se encontra quando se procura a fonte

A busca por "1 a 2%" e por "2 a 4 monitorias por agente/mês" leva sempre ao mesmo tipo de material: post de blog de fornecedor, sem atribuição. O número aparece como afirmação de mercado ("a média do setor é..."), nunca como citação de um estudo, de uma cláusula normativa ou de um levantamento com metodologia declarada.

O rastro numérico mais próximo de uma origem para o "2 a 4" veio de um PDF publicado por uma fornecedora de sistemas de gravação, que trazia uma distribuição de frequência:

Monitorias por agente/mês	Participação
2 a 4	34%
5 a 6	26%
7 a 10	19%
11 ou mais	14%

O problema desse quadro é o que falta nele. Não há pesquisa nomeada, não há N amostral, não há data de coleta, não há descrição de como os respondentes foram selecionados. Sem isso, a tabela é uma alegação, não um dado. E note que, mesmo tomando o quadro pelo valor de face, "2 a 4" é a faixa de apenas 34% dos casos. A maioria (59%) faz 5 ou mais. O número virou regra do setor sendo minoria dentro da própria tabela que teria gerado ele.

O Call Centre Helper, uma das publicações mais citadas do segmento em inglês, mostra quão instável é essa base. Ao longo dos anos publicou recomendações que se contradizem entre si: 4 a 8 monitorias por mês, 5 a 6, 10 por mês, 8% do total de chamadas. E publicou também uma enquete com os próprios leitores em que 36% dos respondentes declararam monitorar mais de 10 chamadas por agente por mês, o que contraria diretamente a lenda dos "2 a 4". Quando quatro recomendações incompatíveis convivem na mesma publicação, o que se está lendo é opinião editorial variando com o tempo.

O que a COPC realmente exige

A COPC é a referência mais invocada quando alguém quer dar autoridade a um número de amostragem. Vale registrar duas coisas antes: trata-se de um padrão proprietário da COPC Inc., não de norma pública, e ele não define percentual.

O que o padrão define é frequência e propriedade da amostra. A exigência literal é:

"Each CSS must be monitored at least every month and must be monitored for each transaction type at least once each quarter"

Ou seja: cada agente monitorado pelo menos uma vez por mês, e pelo menos uma vez por trimestre em cada tipo de transação que ele atende. É um piso de frequência com cobertura por tipo de contato. Nada sobre percentual do volume.

O segundo requisito é o que mais gente ignora: a metodologia de seleção da amostra precisa ser unbiased, não-enviesada. O padrão se preocupa com como as chamadas entram na amostra, não com quantas. Isso inverte a pergunta usual. A COPC não pergunta "você audita 2%?". Ela pergunta "as chamadas que você audita foram escolhidas de um jeito que não distorce o resultado?".

O que o benchmark da própria COPC mostra

A COPC publica o Global Benchmarking Series, que é levantamento com metodologia declarada. Na edição de 2022 (mais de 900 executivos respondentes, coleta de 1º de setembro a 18 de dezembro de 2021, alcance global), os números relevantes são:

Indicador	Resultado
Monitoram ao menos 1x por mês	88%
Selecionam a amostra aleatoriamente	63%
Possuem programa formal de QA	92%
Usam monitoria remota sobre gravação	95%
Razão agentes por pessoa de QA	54 para 1

Repare no que esse conjunto mede: frequência, método de seleção e estrutura de time. Percentual de amostragem não aparece, porque a pergunta sobre percentual não é a que o padrão considera relevante. O dado de 63% de seleção aleatória é o mais revelador da série: mais de um terço das operações respondentes admite selecionar a amostra por algum critério que não é aleatório.

ISO 18295-1:2017: o que a norma diz e o que ela não diz

A ISO 18295-1:2017, "Customer contact centres, Part 1", existe e é a referência internacional mais próxima de uma norma de contact center. Ela também não fixa tamanho de amostra.

A cláusula 4.3 estabelece que o contact center "shall take action to understand the experience customers have", e menciona que isso pode ser feito por avaliação de qualidade, por speech analytics ou por análise de reclamações. É uma exigência de que exista um mecanismo de compreensão da experiência, com liberdade de método. Não há menção a tamanho de amostra, percentual ou frequência mínima.

A norma tem um Anexo A de métricas, mas ele é informativo, sem caráter obrigatório. Esse anexo é conteúdo pago e não foi verificado por nós, então não afirmamos nada sobre o que contém. O que se pode afirmar com segurança é que a exigência normativa da cláusula 4.3 não menciona amostragem.

PROBARE: a referência brasileira

No Brasil, a referência de autorregulação é o PROBARE, com a Norma de Maturidade de Gestão, Revisão 2, de 29 de junho de 2007, coordenada por ABEMD, ABRAREC e ABT.

O PROBARE exige processo de monitoria. Ele não define amostra, percentual nem número de auditorias. Os dois itens pertinentes são:

4.2.3.b: exige "Monitoração da operação e gerenciamento dos resultados, com tomada de ações corretivas"
4.2.4.b: exige "Procedimentos que garantam a consistência do processo de monitoração"

O item 4.2.4.b é o mais relevante aqui, pela mesma razão da COPC: a preocupação é com consistência do processo, não com volume.

A norma também deixa explícito que só são obrigatórios os requisitos "emoldurados" no documento, e que os "Exemplos de Práticas de Gestão" não têm caráter mandatório. Quem cita o PROBARE para justificar um percentual está citando algo que não está lá.

Vale acrescentar: ABT e ABRAREC não publicam norma nem benchmark próprios de monitoria. E não existe norma pública (ISO, ABNT ou brasileira) que fixe percentual de amostragem em monitoria de qualidade.

O número importa menos que a propriedade da amostra

Reunindo o que as fontes verificáveis dizem, surge um padrão. COPC pede amostra não-enviesada. PROBARE pede consistência de processo. ISO 18295 pede um mecanismo de compreensão da experiência. Nenhuma das três pede um percentual. O que elas cobram é uma propriedade estatística, e essa propriedade determina se a monitoria ensina alguma coisa.

Uma amostra aleatória de 2% permite estimar a distribuição de qualidade da operação inteira, com margem de erro calculável. Uma amostra de conveniência de 5% não permite. Se o monitor escolhe as chamadas do topo da fila, as mais curtas (porque cabem no tempo dele) ou as que o supervisor pediu para ouvir, o resultado descreve esse recorte e mais nada. Dobrar o tamanho de uma amostra enviesada não corrige o viés, apenas dá mais confiança em um número errado.

Três formas de viés frequentes na prática:

Viés de conveniência: audita-se o que é fácil de auditar. Chamadas curtas entram mais que longas, e as longas concentram os problemas.
Viés de horário: audita-se no horário do monitor, quase sempre comercial. Pico noturno, madrugada e fim de semana ficam fora do retrato.
Viés de indicação: audita-se o que alguém apontou (reclamação, escalada, pedido de supervisor). Isso é investigação de caso, útil por si só, e não uma amostra da operação.

Cada um compromete a inferência, e nenhum se resolve aumentando o percentual.

A pergunta que fecha o argumento

Se você audita 2% das chamadas, o que você sabe sobre os outros 98%?

Com amostra aleatória e N suficiente, a resposta é: sei estimar a média e a dispersão da qualidade, com uma margem de erro que consigo declarar. Com amostra de conveniência, a resposta direta é: nada. E vale reconhecer que a amostragem tradicional nunca foi desenhada para responder isso. Ela nasceu de uma restrição de capacidade: havia mais chamadas do que gente para ouvir, então se ouvia uma fração. O percentual foi consequência do tamanho do time de QA e virou "boa prática" por repetição. Restrição de capacidade não é princípio de método. Quando a restrição muda, a régua de "1 a 2%" deveria ser revista em vez de citada.

Enquanto a amostragem existir na sua operação, duas decisões valem mais do que o tamanho dela:

Torne a seleção aleatória e documente o critério. Sorteio por período, por agente e por tipo de contato, com registro de como o sorteio foi feito. É o que atende a exigência de não-enviesamento.
Separe amostra de investigação. Chamadas auditadas porque geraram reclamação ou escalada não entram no cálculo da qualidade média. Elas formam um segundo fluxo, com finalidade diferente.

Perguntas frequentes

Existe alguma norma que defina percentual de amostragem em monitoria? Não. ISO 18295-1:2017, PROBARE e COPC não fixam percentual. Não há norma pública brasileira ou internacional que estabeleça um número.

A COPC exige quantas monitorias por agente? Ela exige frequência mínima, não percentual: cada agente monitorado ao menos uma vez por mês e ao menos uma vez por trimestre em cada tipo de transação. Além disso, exige que a seleção da amostra seja não-enviesada.

De onde saiu o "2 a 4 monitorias por agente/mês"? O único traço localizado foi uma distribuição em PDF de fornecedora de gravação, sem pesquisa nomeada, sem N amostral, sem data e sem metodologia. Nessa tabela, a faixa de 2 a 4 representava só 34% dos casos.

O PROBARE fala sobre tamanho de amostra? Não. Os itens 4.2.3.b e 4.2.4.b exigem monitoração com ações corretivas e procedimentos que garantam consistência do processo. Apenas os requisitos emoldurados são obrigatórios.

Uma amostra de 5% é melhor que uma de 2%? Depende de como as chamadas foram escolhidas. Uma amostra aleatória de 2% sustenta inferência sobre o total; uma amostra de conveniência de 5% descreve apenas o recorte que foi ouvido. Aumentar o tamanho não corrige viés.

Como saber se minha amostra está enviesada? Compare a distribuição das chamadas auditadas com a distribuição do total em três eixos: duração, horário e canal ou tipo de contato. Se os perfis divergem, a seleção está introduzindo viés.

Para continuar

Para ver qual percentual da sua operação fica sem auditoria hoje, a calculadora de cobertura dá o número em menos de um minuto, grátis e sem cadastro.