Data profiling: qué es, para qué sirve y cómo conocer tu base antes de confiar en ella

El data profiling es el análisis sistemático de una base de datos para descubrir cómo está realmente, y no cómo todos creen que está. En la práctica, es mirar columna por columna, campo por campo, y medir lo que hay ahí dentro: cuántos registros están completos, cuántos están en blanco, qué valores se repiten, qué formatos aparecen, cuántas duplicidades existen y dónde los datos se salen de la regla que deberían seguir. En portugués el nombre es perfilagem de dados, o perfilamento de dados, y el objetivo es siempre el mismo: conocer el dato antes de confiar en él.

Fíjate que el data profiling no es limpieza de datos. Mucha gente confunde los dos. El perfilado es el diagnóstico, el examen que muestra dónde están los problemas. La limpieza de datos viene después, es el tratamiento. Quien intenta limpiar una base sin hacer antes el data profiling está operando a oscuras, corrigiendo lo que ve en la superficie y dejando pasar lo que está escondido entre miles de registros. Suelo decir que el data profiling es la primera conversación honesta que la empresa tiene con sus propios datos, y casi siempre es una conversación incómoda, porque la base nunca está tan buena como dice el discurso oficial.

Para qué sirve el data profiling en la práctica

El data profiling sirve para responder preguntas simples que, sin él, nadie logra responder con seguridad. ¿Cuántos proveedores duplicados existen en el ERP? ¿Cuántos materiales están sin NCM (Nomenclatura Común del Mercosur, el código de clasificación fiscal de Brasil)? ¿Cuántos clientes tienen un CNPJ (el número de registro de empresas de Brasil) inválido? ¿Qué porcentaje del maestro de materiales tiene una descripción genérica, del tipo "tornillo" sin ninguna especificación? Estas preguntas parecen básicas, pero la mayoría de las empresas no sabe responderlas de memoria, y cuando va tras la respuesta, el número asusta.

Un ejemplo que se repite en casi todos los proyectos. El área de compras jura que el maestro de materiales está bajo control. Entonces ejecutas un profiling y descubres que el treinta por ciento de los artículos tiene la misma descripción escrita de cinco maneras distintas, que existe un campo de unidad de medida con valor libre ingresado a mano, y que una parte relevante de los materiales nunca tuvo movimiento. El profiling no inventó el problema, solo hizo visible lo que ya estaba ahí costando dinero en compras repetidas, inventario parado y una negociación débil con los proveedores.

Sirve también como punto de partida para cualquier proyecto grande. Antes de una migración a SAP S/4HANA, antes de implantar un MDM, antes de conectar la base a un modelo de IA, el data profiling es lo que da el tamaño real del trabajo. Quien se salta esta etapa descubre la dimensión del problema en el peor momento posible, en medio del proyecto, con el plazo reventando.

Cómo funciona el data profiling

El data profiling trabaja en varios frentes que se complementan. El primero es el análisis de columna, mirando cada campo de forma aislada. Aquí mides completitud, valores únicos, valores más frecuentes, mínimos y máximos, longitud de los textos, patrones de formato. Es donde aparece el campo de correo electrónico que tiene "no tiene" escrito en lugar de la dirección, o la fecha de nacimiento con año 1900 usada como relleno automático.

El segundo frente es el análisis entre columnas y entre tablas. Aquí verificas si las relaciones tienen sentido. ¿Todo pedido tiene un cliente válido asociado? ¿Todo material con movimiento existe en el maestro? ¿Existe una dependencia que debería respetarse y no se respeta, como un estado que no coincide con el CEP (el código postal de Brasil)? Este análisis de relaciones es el que más revela problemas estructurales, porque muestra dónde los datos se contradicen entre sí.

El tercer frente es la verificación contra reglas de negocio. Aquí comparas lo que está en la base con lo que manda la regla de la empresa. El CNPJ tiene que ser válido y único por proveedor. El material de compra tiene que tener grupo de mercancía. El cliente activo tiene que tener la dirección completa. El profiling cuenta cuántos registros violan cada regla y muestra el tamaño de la desviación en números, no en opiniones.

El punto importante es que el resultado del data profiling es siempre cuantitativo. No dice "la base está mal", dice "el cuarenta y dos por ciento de los proveedores está sin clasificación y existen mil doscientos registros duplicados por CNPJ". Ese número transforma una queja genérica en un caso que la dirección entiende y aprueba para su corrección.

Quién lo hace y quién es responsable

El data profiling es una actividad que cruza tecnología y negocio, y por eso no pertenece a una sola área. Quien normalmente ejecuta el análisis es el profesional de datos, el data steward, el analista de calidad de datos o el equipo técnico que domina la base y las herramientas. Es la persona que sabe extraer, medir e interpretar lo que dicen los números.

Pero interpretar el resultado exige al negocio junto. El equipo técnico ve que un campo tiene un formato irregular, pero quien sabe si eso es aceptable o no es el área dueña del dato. Compras entiende el maestro de materiales y de proveedores. Ventas y atención entienden el maestro de clientes. El área fiscal entiende el NCM y la clasificación tributaria. Por eso el data profiling que funciona se hace en pareja, alguien que ejecuta el análisis y alguien que conoce la regla del negocio para decir qué es un error de verdad. En la estructura de gobernanza, es una herramienta del data steward y alimenta las decisiones del data owner y del comité de datos, porque da la línea base, la foto del antes, para que después se pueda medir si la calidad mejoró o empeoró a lo largo del tiempo.

Qué herramientas de data profiling existen

Existe una amplia gama de herramientas, de las gratuitas a las corporativas. En el mundo de las plataformas de calidad y gobernanza de datos, las más conocidas con recursos fuertes de profiling son Ataccama, Informatica con el módulo de Data Quality, Talend, IBM InfoSphere y Collibra en la parte de catálogo y observabilidad. Estas plataformas hacen el profiling de forma automatizada, programada y conectada a reglas de calidad, lo que tiene sentido cuando el volumen es grande y el análisis necesita ejecutarse de forma recurrente.

Quien trabaja con Microsoft encuentra recursos dentro de Purview y de Power Query. Quien está en el ecosistema SAP tiene capacidades de calidad ligadas a SAP MDG y a SAP Data Services. Y existe mucho material bueno en código abierto y en bibliotecas, como pandas profiling en el mundo Python, que resuelve bien los análisis puntuales.

Vale una observación que repito siempre. La herramienta no es el comienzo. Se puede hacer un data profiling que ya entrega un enorme valor usando solo SQL bien escrito directamente en la base. Contar registros, agrupar valores, encontrar duplicidades por clave, medir completitud, todo eso son consultas simples. La herramienta ayuda en la escala, en la automatización y en la gobernanza del proceso, pero el razonamiento del perfilado empieza con quien sabe hacerle la pregunta correcta a la base. Como abordo en el libro "Master Data Management: Fundamentos e Aplicações" (libro en portugués), publicado por la Editora Brasport, la tecnología acelera, pero no sustituye el entendimiento del dato.

Data profiling y inteligencia artificial

Este es el punto que más crece en importancia. Todo el mundo quiere conectar la base a algún modelo de IA, crear copilotos internos, automatizar decisiones. Y ahí vive el problema. La IA no arregla datos malos, aprende de lo que existe y reproduce el error a escala. Si el maestro de materiales está duplicado y mal descrito, el modelo va a tratar el mismo artículo como si fueran varios, y va a sugerir compras equivocadas con una confianza que engaña.

El data profiling es lo que evita ese desastre antes de que ocurra. Antes de alimentar cualquier modelo, el perfilado muestra si la base tiene consistencia suficiente, si las claves están íntegras, si los campos que el modelo va a usar están completos y estandarizados. Es un examen de sangre antes de la cirugía. La empresa que hace profiling antes de invertir en IA descubre temprano que necesita poner la casa en orden, y ahorra el dinero que gastaría entrenando un modelo sobre una base que no sostiene el resultado.

Cómo aprender data profiling

El camino para aprender data profiling pasa por tres capas. La primera es la técnica de consulta, saber extraer y agrupar datos, lo que en la práctica significa tener el SQL suficiente para interrogar la propia base. No necesitas ser especialista en bases de datos, necesitas saber contar, agrupar, filtrar y cruzar tablas. La segunda capa es la de calidad de datos, entender las dimensiones que se miden, como completitud, unicidad, validez, consistencia, precisión y conformidad. Ese vocabulario es lo que transforma un análisis suelto en un diagnóstico estructurado.

La tercera capa es la de gobernanza y negocio, saber vincular el número con el impacto. De nada sirve descubrir que existen mil duplicidades si no logras explicar cuánto cuesta eso en compras repetidas o en riesgo fiscal. Para recorrer esto de forma ordenada, referencias como el DAMA-DMBOK ayudan a armar el mapa, y certificaciones como el CDMP de DAMA dan estructura a quien quiere seguir una carrera en gestión y gobernanza de datos. Lo más importante, sin embargo, es practicar sobre una base real, porque el data profiling se aprende mirando datos sucios de verdad, no en un ejemplo de salón de clases.

Las oportunidades de carrera

La demanda de quienes saben mirar datos con método está creciendo rápido, y el data profiling es una de las puertas de entrada más accesibles de esta área. Es una habilidad que un analista de datos maestros, un analista de compras o alguien de soporte de sistemas puede empezar a desarrollar a partir de la base que ya usa en el día a día. Mucha gente que hoy trabaja con gobernanza de datos empezó exactamente así, ejecutando análisis sobre su propia base y mostrando problemas que nadie había visto.

Data steward, analista de calidad de datos, especialista en MDM y coordinador de gobernanza son funciones que dependen fuertemente de esta competencia, y son posiciones en alza en el mercado brasileño, con salarios que evolucionan bien a medida que la persona muestra impacto de negocio. El profesional que sabe perfilar una base, traducir el hallazgo en dinero y proponer la corrección se vuelve raro y valioso, porque une técnica con visión de negocio, que es la combinación que a las empresas más les cuesta encontrar.

Principales dudas sobre el data profiling

¿El data profiling es lo mismo que la limpieza de datos? No. El data profiling es el diagnóstico, mide y muestra dónde están los problemas. La limpieza de datos es el tratamiento que viene después. Uno sustenta al otro, pero son etapas distintas.

¿Necesito una herramienta cara para empezar? No. Se puede hacer un profiling de gran valor usando SQL directamente en la base o bibliotecas gratuitas. La herramienta corporativa ayuda en la escala y en la automatización, pero el razonamiento empieza con la pregunta correcta, no con el software.

¿Con qué frecuencia debo hacer data profiling? Al inicio de todo proyecto grande, como una migración de ERP o la implantación de un MDM, y después de forma recurrente, para monitorear si la calidad mejora o empeora a lo largo del tiempo. El profiling no es un evento único, es un seguimiento.

¿El data profiling resuelve el problema de las duplicidades? Encuentra y dimensiona la duplicidad, muestra cuántos registros duplicados existen y por qué clave. La eliminación de la duplicidad es la etapa siguiente, de deduplicación y limpieza de datos.

¿Quién debe hacer el data profiling en la empresa? El equipo técnico o el data steward ejecuta el análisis, pero la interpretación necesita al área dueña del dato, que es quien sabe si la desviación encontrada es un error de verdad o una excepción aceptable.

MDM Academy

MDM Academy es la escuela de gobernanza y datos maestros de 4MDG, creada para formar a los profesionales que el mercado brasileño está buscando y no encuentra. La idea nació de una percepción simple de quien vive proyectos desde hace años: falta gente que sepa unir la técnica del dato con la visión de negocio, y es exactamente ese puente el que la Academy enseña a construir.

En los contenidos aprendes gobernanza de datos, Master Data Management, calidad de datos, maestro de materiales, de proveedores y de clientes, y habilidades prácticas como el perfilado de datos que este artículo trató, siempre con ejemplos reales de compras, supply chain, SAP y datos maestros. Es una formación pensada para que el profesional la aplique en el trabajo ya la semana siguiente, no teoría lejana de la operación.

Si quieres entrar o crecer en esta área, vale la pena conocer MDM Academy y entrar al Club de los Datos, donde la comunidad intercambia experiencia, discute casos reales y sigue las novedades de un mercado que solo crece. Es el lugar para quien decidió tomarse en serio la carrera en datos.

Conclusión

El data profiling es el hábito de mirar la propia base con honestidad antes de tomar cualquier decisión que dependa de ella. Parece un detalle técnico, pero es lo que separa a la empresa que confía en los datos por convicción de la que confía por evidencia. Y la diferencia aparece en el momento más caro, cuando una compra sale mal, un reporte no cuadra o un proyecto de IA entrega un resultado sesgado por un dato que nadie había mirado de cerca.

La buena noticia es que perfilar una base no exige empezar en grande. Empieza con una pregunta simple hecha a la base de datos y con el coraje de enfrentar la respuesta. Quien crea ese hábito deja de ser sorprendido por sus propios datos y pasa a gobernarlos de verdad. En tu empresa, ¿alguien ya se detuvo a medir de verdad cómo está la base, o todos siguen confiando en el dato a ojo?