Deduplicação: quando confiar no algoritmo e quando chamar o humano

Deduplicar é decidir que dois registros são a mesma coisa do mundo real. Parte dessa decisão é mecânica e deve ser automatizada sem hesitação. Parte é julgamento, e automatizá-la produz o pior resultado possível: perda silenciosa de dado.

A arte está em saber onde fica a fronteira.

O que o algoritmo resolve sozinho

Correspondência determinística: mesma chave forte, normalizada. Mesmo CNPJ, mesma matrícula, mesmo código de barras. Aqui não há dúvida a resolver, e revisão humana só adiciona custo e atraso.

A parte que exige cuidado é a normalização antes da comparação. Retirar pontuação, padronizar caixa, tirar espaço duplo, decidir o que fazer com acento. Feito isso, funda automaticamente e registre.

Uma exceção que vale nomear: mesma chave forte com dados incompatíveis — mesmo CNPJ com razão social de outra empresa — não é duplicata, é erro de digitação da chave. Esse caso vai para revisão.

Onde a correspondência aproximada ajuda

Sem chave forte, entra a comparação por similaridade: distância entre textos, apelido conhecido, abreviação comum, endereço parecido.

O resultado não é sim ou não, é um escore. E é por isso que a decisão de projeto mais importante não é qual algoritmo usar, mas quais dois limiares adotar.

Acima do limiar superior, funde automaticamente. Abaixo do inferior, ignora. Entre os dois, fila humana.

Como escolher os limiares

Não por intuição, e não pelo padrão do fornecedor. Monte uma amostra de algumas centenas de pares que você mesmo classificou como duplicata ou não, rode a comparação e observe onde estão os erros.

Escolha o limiar superior num ponto em que o falso positivo seja praticamente ausente na amostra — falso positivo funde duas entidades distintas, e desfazer isso é caro ou impossível. O limiar inferior pode ser mais tolerante: falso negativo deixa duplicata na base, o que é ruim, mas reversível.

A assimetria é deliberada: os dois erros não têm o mesmo custo.

Quando chamar o humano

Escore na faixa intermediária. Chave forte com dados incompatíveis. Registros com movimento financeiro ou fiscal em ambos — aí a fusão tem efeito contábil e precisa de quem responda. E qualquer caso em que os dois registros pertençam a áreas donas diferentes: a decisão é de negócio, não de dados.

A fila humana precisa ser digna

É aqui que a maioria dos projetos falha. A fila chega com dez mil pares, sem contexto, sem ordem de prioridade, e ninguém trabalha nela.

Ordene por impacto — valor movimentado, recência. Mostre os dois registros lado a lado com as diferenças destacadas e o histórico de movimento. Ofereça três ações: fundir com escolha do sobrevivente, marcar como distintos, escalar.

E registre a decisão do humano de volta na amostra. Isso é o que permite recalibrar os limiares com o tempo, e é a única forma de a fila diminuir em vez de crescer.

O que nunca automatizar

Fusão sem trilha de reversão. Independentemente do escore, guarde o que havia antes. Em algum momento — auditoria, processo, reclamação — alguém vai perguntar para onde foi o registro antigo, e "o algoritmo decidiu" não é resposta.