Deduplicación: cuándo confiar en el algoritmo y cuándo llamar a un humano

Deduplicar es decidir que dos registros son la misma cosa del mundo real. Parte de esa decisión es mecánica y debe automatizarse sin dudar. Parte es juicio, y automatizarla produce el peor resultado posible: pérdida silenciosa de datos.

El arte está en saber dónde queda la frontera.

Lo que el algoritmo resuelve solo

Coincidencia determinística: misma clave fuerte, normalizada. Mismo CNPJ (el número de registro de empresas en Brasil), mismo número de empleado, mismo código de barras. Aquí no hay duda que resolver, y la revisión humana solo agrega costo y demora.

La parte que exige cuidado es la normalización antes de la comparación. Quitar la puntuación, estandarizar mayúsculas y minúsculas, eliminar los espacios dobles, decidir qué hacer con los acentos. Hecho eso, fusiona automáticamente y registra.

Una excepción que vale la pena nombrar: misma clave fuerte con datos incompatibles —el mismo CNPJ con la razón social de otra empresa— no es un duplicado, es un error de digitación de la clave. Ese caso va a revisión.

Dónde ayuda la coincidencia aproximada

Sin clave fuerte, entra la comparación por similitud: distancia entre textos, apodo conocido, abreviatura común, dirección parecida.

El resultado no es sí o no, es un puntaje. Y por eso la decisión de diseño más importante no es qué algoritmo usar, sino qué dos umbrales adoptar.

Por encima del umbral superior, fusiona automáticamente. Por debajo del inferior, ignora. Entre los dos, cola humana.

Cómo elegir los umbrales

No por intuición, y no por el valor predeterminado del proveedor. Arma una muestra de unos cientos de pares que tú mismo clasificaste como duplicado o no, ejecuta la comparación y observa dónde están los errores.

Elige el umbral superior en un punto donde el falso positivo sea prácticamente inexistente en la muestra: un falso positivo fusiona dos entidades distintas, y deshacerlo es caro o imposible. El umbral inferior puede ser más tolerante: un falso negativo deja un duplicado en la base, lo cual es malo, pero reversible.

La asimetría es deliberada: los dos errores no tienen el mismo costo.

Cuándo llamar a un humano

Puntaje en la franja intermedia. Clave fuerte con datos incompatibles. Registros con movimiento financiero o fiscal en ambos: ahí la fusión tiene efecto contable y necesita a alguien que responda. Y cualquier caso en que los dos registros pertenezcan a áreas dueñas distintas: la decisión es de negocio, no de datos.

La cola humana tiene que ser digna

Aquí es donde la mayoría de los proyectos fracasa. La cola llega con diez mil pares, sin contexto, sin orden de prioridad, y nadie trabaja en ella.

Ordénala por impacto: valor movido, recencia. Muestra los dos registros lado a lado con las diferencias resaltadas y el historial de movimiento. Ofrece tres acciones: fusionar eligiendo el sobreviviente, marcar como distintos, escalar.

Y registra la decisión del humano de vuelta en la muestra. Eso es lo que permite recalibrar los umbrales con el tiempo, y es la única forma de que la cola disminuya en vez de crecer.

Lo que nunca se debe automatizar

La fusión sin rastro de reversión. Sin importar el puntaje, guarda lo que había antes. En algún momento —auditoría, proceso, reclamo— alguien va a preguntar adónde fue el registro antiguo, y "el algoritmo decidió" no es una respuesta.