Como medir concordância entre monitores: calibração na prática

O número que todo mundo repete e ninguém sustenta

Pergunte a qualquer operação como ela sabe que os monitores estão alinhados e a resposta costuma ser a mesma: "a variância entre avaliadores fica dentro de 5%".

Esse número tem origem rastreável. A SQM afirma que "the primary goal of call calibration is to ensure that the actual QA scores remain within a 5% variance". O Call Centre Helper trabalha com limite parecido, desvio de ±10% contra a média do time. A LeapTree mede variância em quatro recortes: diferença percentual de nota, concordância questão a questão, alinhamento de pass/fail e tendência ao longo das sessões.

O problema está na origem do valor: ele não vem de nenhuma derivação estatística. É um limite operacional de gestão, adotado por convenção e repetido até virar padrão. Ele responde "quão longe as notas ficaram umas das outras", que é uma pergunta legítima, mas não responde "quanto desse acordo é acordo real e quanto é coincidência".

Calibrar e medir concordância são etapas distintas

Calibrar é a sessão: o time escuta a mesma chamada, cada um pontua, discute divergência, ajusta entendimento do critério. O produto da calibração é alinhamento de julgamento.

Medir concordância é quantificar o alinhamento que existe. O produto é um número.

A CustomerThink faz essa distinção com clareza e ela tem consequência prática direta. Teste de confiabilidade entre avaliadores (IRR, inter-rater reliability) exige condições que uma sessão de calibração normal não tem. No texto: "Inter-rater reliability testing also requires that call scoring be completed individually (in seclusion if possible)". E também: "Make sure each IRR includes a sufficient sample size, 10 calls at minimum!"

Traduzindo para a rotina: se os monitores pontuam juntos, na mesma sala, ouvindo o comentário um do outro, o resultado mede a dinâmica do grupo, não a concordância independente. Para medir concordância de verdade, a pontuação precisa ser cega e individual, e depois consolidada. A discussão vem em seguida. Uma operação madura faz as duas coisas em momentos separados: sessão para alinhar critério, teste de IRR periódico para verificar se o alinhamento se sustenta.

Com que frequência calibrar

Aqui existe uma exigência formal e existem dados de mercado.

O COPC (padrão proprietário, não é norma pública) exige que "all staff performing monitoring must be calibrated at least quarterly using a quantitative approach that measures calibration at the attribute level in comparison to a reference or gauge".

São três exigências dentro de uma frase, e quase nenhuma operação cumpre as três:

Quantitativo. Não basta a reunião de discussão. Precisa gerar número.
Por atributo. Medido item a item do formulário, não pela nota total. Dois monitores podem chegar a 87 e 89 discordando profundamente em quatro critérios que se compensam.
Contra um gabarito de referência. Comparação com um padrão definido, não apenas dos monitores entre si.

O terceiro ponto é o mais ignorado. Comparar monitores entre si mede consistência. Comparar contra gabarito mede acurácia. Um time pode estar perfeitamente consistente e uniformemente errado.

Sobre frequência real, a COPC Global Benchmarking Series de 2022 traz esta distribuição:

Frequência de calibração	% das operações
Semanal	27%
Mensal	51%
Trimestral	12%
Anual	2%

Ou seja, cerca de 90% calibram pelo menos trimestralmente. A SQM recomenda mensal como piso e semanal como ideal. ICMI e Call Centre Helper não especificam intervalo.

A parte estatística: escolher a métrica certa para o tipo de dado

Aqui é onde a maioria das tentativas de "medir com rigor" erra, inclusive tentativas bem-intencionadas.

Kappa de Cohen

Proposto em 1960 para medir concordância entre dois avaliadores em escala nominal. Referência: Cohen J. "A Coefficient of Agreement for Nominal Scales". Educational and Psychological Measurement, 1960;20:37-46. A ideia central: concordância bruta em percentual infla o resultado, porque parte do acordo acontece por acaso. O kappa desconta o acaso.

Kappa de Fleiss

Extensão para três ou mais avaliadores. Referência: Fleiss JL. "Measuring nominal scale agreement among many raters". Psychological Bulletin, 1971;76:378-382. Como sessão de calibração raramente tem só dois monitores, Fleiss costuma ser o parente mais próximo do caso real.

As faixas de interpretação

As faixas mais citadas são de Landis & Koch (1977), literalmente: "poor agreement for kappas less than 0.00; slight agreement for kappas of 0.00 to 0.20; fair agreement for kappas of 0.21 to 0.40; moderate agreement for kappas of 0.41 to 0.60; substantial agreement for kappas of 0.61 to 0.80; and almost perfect agreement for kappas of 0.81 to 1.00."

Kappa	Interpretação (Landis & Koch)
< 0,00	poor
0,00 a 0,20	slight
0,21 a 0,40	fair
0,41 a 0,60	moderate
0,61 a 0,80	substantial
0,81 a 1,00	almost perfect

O ponto técnico decisivo

Nota de monitoria de 0 a 100 é dado ordinal ou contínuo. Kappa simples é para dado nominal.

Isso não é detalhe acadêmico. Kappa nominal trata "85 e 86" e "85 e 30" como o mesmo tipo de erro: discordância. Para nota, a distância importa.

As saídas corretas:

Dado ordinal (faixas, conceitos, escala de 1 a 5): kappa ponderado (weighted kappa), que atribui peso menor a discordâncias próximas.
Dado contínuo (nota de 0 a 100): ICC, correlação intraclasse. Não kappa.
Dado genuinamente nominal (pass/fail, houve falha crítica sim ou não, categoria de motivo): aí sim kappa de Cohen ou Fleiss se aplica bem.

Um formulário típico contém os três tipos ao mesmo tempo: nota final contínua, resultado de auditoria binário, motivo de reprovação categórico. Medir tudo com uma métrica só é a origem do número que parece rigoroso e não é.

Faixas de ICC

Koo & Li (2016), literalmente: "less than 0.5 poor... 0.5 to 0.75 moderate... 0.75 to 0.9 good... greater than 0.90 excellent".

Detalhe que quase todo mundo pula: os autores aplicam essas faixas ao intervalo de confiança de 95%, não à estimativa pontual. Um ICC de 0,82 com intervalo de 0,41 a 0,94 fica indefinido, e o tamanho da amostra costuma ser a causa.

As críticas ao kappa, que também precisam ser ditas

Publicar kappa sem contexto reproduz outro tipo de falso rigor.

Sensibilidade à prevalência. O kappa depende de quão frequente é cada categoria. Comparar kappa entre grupos com prevalências diferentes pode ser inapropriado. Em monitoria isso aparece o tempo todo: se 95% das chamadas passam, o kappa de pass/fail despenca mesmo com avaliadores muito alinhados.

O paradoxo do kappa. Concordância bruta altíssima convivendo com kappa baixo, por efeito da distribuição marginal. Gwet propôs o AC1 justamente como coeficiente resistente a esse paradoxo.

As faixas são arbitrárias. O pacote estatístico irrCAC implementa três escalas concorrentes de interpretação: Landis-Koch, Altman e Fleiss. A existência de três escalas em uso mostra que não há faixa canônica. Tratar 0,61 como fronteira sagrada entre "aceitável" e "ruim" repete o mesmo erro dos 5%, com aparência mais científica.

O que a literatura de contact center realmente usa

Ponto que merece ser dito com todas as letras, porque muda como esse post deve ser lido:

Não foi encontrado nenhum estudo acadêmico nem material setorial que aplique kappa para medir concordância entre monitores de contact center.

Call Centre Helper, ICMI, SQM e LeapTree, incluindo um artigo dedicado especificamente a medir variância de calibração, não citam kappa em momento algum. Kappa em monitoria de contact center é importação de outras áreas, principalmente medicina e linguística, e não prática estabelecida do setor.

O único caso encontrado em domínio de call center é um paper publicado em Annals of Operations Research (2024), no qual dois supervisores rotularam 859 áudios e "The Kappa agreement was α = 0.767". Só que o objetivo ali era validar rótulos de treino de um modelo de machine learning, não avaliar notas de monitoria.

A conclusão prática: quem adotar kappa ponderado ou ICC estará à frente da prática comum do mercado, e também sem benchmark setorial para comparar. Vale montar a própria série histórica antes de cobrar meta em cima do coeficiente.

A restrição brasileira que muda a sessão de calibração

A NR-17, Anexo II, item 6.13.c veda a exposição pública das avaliações de desempenho dos operadores.

Isso tem efeito direto na mecânica da sessão. Colocar na tela uma tabela com nome do operador e nota de cada monitoria discutida é diferente de discutir a chamada e o critério. A calibração precisa da chamada e do formulário; ela não precisa da identificação nominal do operador exposta ao grupo.

O ajuste é simples e costuma melhorar a sessão: anonimizar o agente no material de calibração. O foco vai para o critério, que é o objeto real da discussão. O texto completo da norma está no portal do Ministério do Trabalho e Emprego.

Um desenho de programa que funciona

Juntando tudo, um programa defensável fica assim:

Sessão de calibração com periodicidade mensal no mínimo, semanal se o volume permitir. Objetivo: alinhar critério.
Teste de IRR separado, com pontuação individual e cega, mínimo de 10 chamadas por rodada. Objetivo: medir.
Métrica por tipo de dado. ICC para a nota final, kappa ponderado para itens em escala, kappa de Fleiss ou AC1 para itens binários e categóricos.
Medição por atributo, não só pela nota total, para achar qual critério está gerando divergência.
Comparação contra gabarito de referência, além da comparação entre monitores.
Série histórica própria, porque não existe benchmark setorial publicado para esses coeficientes.

O item 4 costuma dar o maior retorno imediato. Divergência quase nunca está espalhada por igual: ela se concentra em dois ou três critérios mal definidos do formulário. Achar esses critérios resolve mais do que qualquer meta de coeficiente.

Vale lembrar que tudo isso opera sobre amostra. Se a operação audita 2% das chamadas, a concordância medida vale para aquela fração, como discutimos em avaliação baseada em 100% da produtividade.

Perguntas frequentes

Posso continuar usando a variância de 5%? Pode, como limite operacional de gestão. O que não se sustenta é apresentá-la como medida estatística de concordância. Ela não desconta acaso e não distingue consistência de acurácia.

Qual métrica usar para nota de monitoria de 0 a 100? ICC, correlação intraclasse. Nota nessa escala é dado contínuo, e kappa simples foi desenhado para dado nominal.

Então kappa não serve para nada em monitoria? Serve, nos itens certos: pass/fail, ocorrência de falha crítica, categoria de motivo. Para escala ordinal, kappa ponderado. A escolha segue o tipo de dado do item, não o gosto de quem mede.

Quantas chamadas preciso por rodada de teste? A referência setorial mais explícita é o mínimo de 10 chamadas por teste de IRR. Com amostra pequena, o intervalo de confiança fica largo e o coeficiente vira ruído.

Calibração e teste de concordância podem ser a mesma reunião? Não com rigor. O teste exige pontuação individual e isolada antes da discussão. Pontuar em grupo mede a dinâmica do grupo. O caminho é pontuar cego, calcular, depois discutir.

A NR-17 impede fazer calibração? Não. Ela veda a exposição pública das avaliações de desempenho. Anonimizar o operador no material da sessão resolve, e a discussão de critério segue normalmente.

Para continuar

Para saber quanto da sua operação fica fora da amostra auditada hoje, a calculadora de cobertura de monitoria devolve o número em menos de um minuto, sem cadastro.

Referências citadas: Cohen (1960), Fleiss (1971), Landis & Koch (1977), Koo & Li (2016), COPC Global Benchmarking Series 2022, SQM, Call Centre Helper, ICMI, LeapTree, CustomerThink e Annals of Operations Research (2024). Este material é informativo e não substitui consultoria estatística ou jurídica aplicada à sua operação.