Observabilidad de datos: qué es, los pilares y cómo saber cuándo la base se rompe

Todo el mundo ya vivió la escena. La dirección abre el dashboard el lunes por la mañana, el número de facturación llegó a la mitad y nadie sabe explicar por qué. El equipo de datos sale corriendo, descubre que un pipeline dejó de ejecutarse el viernes por la noche y que la tabla pasó tres días sin actualizarse. El reporte siguió viéndose bien, con gráfico y color, solo que apoyado en datos viejos. La observabilidad de datos existe justamente para este dolor: saber que la base se rompió antes de que el reporte equivocado llegue a manos de quien decide.

Este es un problema que aparece mucho en las empresas. Cuanto más depende la compañía de los datos para decidir, más cara se vuelve cada hora en que nadie nota que algo se salió de lugar. Y casi siempre el descubrimiento llega por el peor camino posible, que es el usuario de negocio quejándose de que el número no cuadra.

Qué es la observabilidad de datos

La observabilidad de datos es la capacidad de ver, casi en tiempo real, la salud de tus datos y de los pipelines que los mueven. En la práctica, es tener un monitoreo continuo que avisa cuando un dato se atrasó, desapareció, cambió de formato o empezó a comportarse de una manera extraña, de preferencia antes de que eso se convierta en pérdida más adelante.

El término está tomado prestado del mundo del software. Desde hace años las áreas de tecnología monitorean servidores, aplicaciones y latencia de sistemas para saber cuándo algo se va a caer. La observabilidad de datos toma esa misma lógica y la aplica al dato en sí y al camino que recorre, desde el origen hasta el reporte. El punto no es solo saber que un servidor está en línea. Es saber si el dato que pasó por él llegó completo, actualizado y coherente al otro lado.

Una forma simple de entenderlo: el monitoreo tradicional te dice que la máquina está funcionando. La observabilidad de datos te dice si el dato que salió de ella es confiable.

La observabilidad de datos no es lo mismo que la calidad de datos

Aquí vive una confusión común. La calidad de datos es una fotografía. Mides en un momento si los registros maestros están completos, si no hay duplicidad, si los campos están dentro del estándar, usando dimensiones como precisión, completitud, consistencia y unicidad. Es una evaluación de estado.

La observabilidad de datos es la película. Acompaña el comportamiento del dato a lo largo del tiempo, en condiciones que cambian todos los días. No pregunta solo si la base está bien ahora, pregunta si sigue comportándose como debería en cada carga, en cada integración, en cada actualización. Una aerolínea sirve de analogía. La calidad de datos es mirar si ese vuelo específico despegó a la hora. La observabilidad es seguir si toda la aerolínea mantiene la puntualidad mes tras mes.

Las dos se complementan. La calidad define qué es un dato bueno. La observabilidad avisa cuando el dato dejó de ser bueno sin que nadie lo haya tocado a propósito. Y existe una diferencia práctica importante: la observabilidad señala el problema, pero quien corrige de verdad es la gobernanza, con dueño del dato, regla clara y proceso. La herramienta ve el incidente. Las personas y el proceso resuelven la causa.

Los pilares de la observabilidad de datos

El mercado suele organizar la observabilidad de datos en cinco pilares, y vale la pena entender cada uno desde el lado del negocio, no solo desde el técnico.

El primero es la frescura, o freshness. Responde si el dato está actualizado y con qué frecuencia debería actualizarse. Cuando una tabla que carga cada hora se queda medio día detenida, la frescura es el pilar que dispara la alerta. Fue exactamente lo que faltó en la escena del comienzo de este texto.

El segundo es el volumen. Observa la cantidad de registros que entra y sale en cada proceso. Si todas las madrugadas llegan doscientos mil pedidos y una noche llegan mil, algo se rompió en el origen. Un volumen que se desploma o que se dispara por encima de lo esperado es señal de que la ingesta se salió del carril.

El tercero es el schema, o esquema. Vigila la estructura de los datos, los campos, los tipos, la organización de las tablas. Cuando un sistema de origen renombra una columna o cambia el formato de una fecha sin avisar, es el schema el que lo delata. Este es un clásico de los proyectos de integración, donde un cambio silencioso en el ERP tumba un reporte tres capas más adelante.

El cuarto es la distribución, a veces tratada como el pilar de calidad del propio valor. Mira si los datos siguen dentro de rangos aceptables. Un campo de valor que siempre fue positivo y de repente aparece negativo, un porcentaje de campos nulos que se dispara, un rango de precios que se aleja por completo del histórico. La distribución es el pilar que atrapa la anomalía en el contenido, no en la estructura.

El quinto es el linaje, o lineage. Mapea el camino del dato del origen al destino, mostrando por dónde pasó y qué depende de él. Cuando aparece un problema, el linaje responde la pregunta que más importa a la hora del incendio: qué se rompió allá atrás y qué reportes van a ser afectados por eso. Sin linaje, la empresa gasta horas solo para descubrir dónde empezó el estrago.

Cómo funciona en la práctica

En la práctica, una iniciativa de observabilidad de datos conecta la plataforma a las fuentes y a los pipelines y empieza a recolectar señales todo el tiempo. A partir del historial, el sistema aprende el comportamiento normal de cada tabla, cuántos registros suele recibir, a qué hora se actualiza, cuál es la distribución típica de los valores. Cuando algo se sale de ese patrón, dispara una alerta al equipo responsable, muchas veces antes de que el dato malo llegue al consumo.

La diferencia respecto de la prueba manual es grande. La manera antigua es escribir reglas fijas del tipo este campo no puede ser nulo. Funciona para los problemas que ya conoces, los llamados conocidos. La observabilidad cubre también lo que no imaginabas que podía pasar, usando detección de anomalías para encontrar el comportamiento extraño que nadie habría pensado en probar. Es la diferencia entre buscar solo donde ya sabes que hay riesgo y tener a alguien vigilando toda la base.

Quién cuida la observabilidad de datos

No es responsabilidad de una sola persona. El ingeniero de datos suele ser quien instrumenta los pipelines y reacciona a las alertas, porque es quien conoce el camino técnico del dato. El equipo de plataforma o de analytics engineering interviene en la definición de qué monitorear y de qué umbrales tienen sentido.

Pero quien le da significado a la alerta es el negocio. El data steward y el data owner son los roles que dicen si esa variación importa, cuál es el impacto en el proceso y a quién hay que activar. Una alerta de volumen solo se convierte en decisión cuando alguien que entiende de compras, de facturación o de inventario interpreta lo que eso representa. Por eso la observabilidad de datos funciona mejor dentro de un programa de gobernanza, y no como un juguete aislado del área técnica.

Qué herramientas de observabilidad de datos existen

El mercado maduró rápido en los últimos años. Entre las plataformas de observabilidad más citadas están Monte Carlo, que ayudó a popularizar el término, además de Bigeye, Anomalo, Soda y Metaplane. En el universo de quienes ya trabajan con transformación de datos, dbt ofrece pruebas que cubren parte del problema de forma nativa.

Vale notar que los proveedores tradicionales de gobernanza y calidad también avanzaron hacia ese territorio. Ataccama e Informatica traen recursos de monitoreo y calidad continua, Collibra y Microsoft Purview conectan la observabilidad con el catálogo y el linaje, e IBM trata el tema dentro de su visión de confiabilidad de datos. La elección depende de la etapa de la empresa, del volumen de datos y de cuánta gobernanza ya existe armada. La herramienta ayuda mucho, pero repito lo que siempre digo en los proyectos: sin dueño del dato, proceso y disciplina, ningún software resuelve nada por sí solo.

Cómo aprender observabilidad de datos

El camino de estudio pasa por entender bien la calidad de datos, el linaje y la arquitectura de pipelines, porque la observabilidad es la unión de esos temas en movimiento. Quien viene de gobernanza ya tiene medio camino recorrido, porque los pilares conversan directamente con las dimensiones de calidad y con los metadatos.

Vale conocer las certificaciones de gestión de datos, como la ruta CDMP de DAMA, que da la base conceptual de calidad, metadatos y gobernanza sobre la cual se apoya la observabilidad. Sumado a eso, meter las manos en una herramienta, aunque sea en un entorno de pruebas, y entender cómo se configura una alerta de frescura o de volumen, hace que el concepto se vuelva práctica. Como abordo en el libro Master Data Management: Fundamentos e Aplicações (libro en portugués), publicado por la Editora Brasport, el dato confiable no nace solo de la tecnología, nace de la combinación de definición, responsabilidad, proceso y herramienta.

Las oportunidades

La observabilidad de datos es una de las áreas cuya demanda más ha crecido dentro del universo de datos, junto con la ingeniería de datos y la gobernanza. A medida que las empresas ponen más decisiones sobre los datos, y ahora también sobre la inteligencia artificial, la confiabilidad de la base deja de ser un detalle técnico y se vuelve un riesgo de negocio.

Y aquí entra una conexión que hago siempre. La IA empresarial no arregla los datos malos, acelera decisiones sobre lo que existe. Si la base se rompió y nadie lo notó, el modelo va a aprender y responder sobre datos equivocados con toda la confianza del mundo. La observabilidad es parte de la respuesta a ese riesgo, porque garantiza que el combustible de la IA esté íntegro. Para quien trabaja con datos, dominar este tema es posicionarse exactamente donde el mercado está mirando.

Principales dudas sobre la observabilidad de datos

¿La observabilidad de datos es lo mismo que el monitoreo? No. El monitoreo tradicional avisa que un sistema se cayó o que un job falló. La observabilidad va más allá y muestra la salud del propio dato, incluidos problemas que no generan ningún error técnico, como una tabla que se actualiza pero con la mitad de los registros.

¿Cuál es la diferencia entre observabilidad y calidad de datos? La calidad mide el estado del dato en un punto del tiempo. La observabilidad acompaña el comportamiento del dato a lo largo del tiempo y avisa cuando se sale de lo normal. Una define qué es bueno, la otra vigila si sigue siendo bueno.

¿Necesito una herramienta cara para empezar? No necesariamente. Se puede empezar con pruebas simples de frescura y volumen en los pipelines que ya tienes y evolucionar hacia una plataforma dedicada cuando el volumen y la criticidad lo justifiquen. El primer paso es definir qué no puede fallar.

¿La observabilidad de datos sirve solo para empresas grandes? No. Cualquier empresa que toma decisiones con base en datos se beneficia de saber cuándo esos datos se rompieron. Lo que cambia es la escala y el nivel de automatización, no la necesidad.

¿Quién debe ser responsable de la observabilidad en la empresa? Es un trabajo compartido. La ingeniería de datos instrumenta y reacciona, pero el data steward y el data owner del negocio interpretan el impacto y deciden la prioridad. Funciona mejor dentro de un programa de gobernanza.

MDM Academy

MDM Academy es la escuela de gobernanza y datos maestros de 4MDG, creada para formar profesionales que resuelven estos problemas de verdad dentro de las empresas, y no solo conocen la teoría. Los contenidos parten de la misma lógica de este artículo, que es traducir el concepto técnico en impacto de negocio, con ejemplos reales de alta y mantenimiento de registros maestros, compras, supply chain, SAP y proyectos de datos.

Quien entra a MDM Academy encuentra una ruta que conecta calidad, gobernanza, datos maestros y los temas que están moldeando el mercado ahora, la observabilidad entre ellos. Es una formación pensada para quien quiere salir de lo operativo y ocupar las posiciones que más buscan las empresas. Si quieres avanzar en la carrera de datos, vale la pena conocer MDM Academy y entrar al Club de los Datos, donde conversamos sobre estos temas y ayudamos a quienes están construyendo este camino.

Conclusión

La observabilidad de datos no es una moda del mercado, es la respuesta madura a una pregunta antigua: cómo saber que la base se rompió antes de que el error llegue a la decisión. Durante años las empresas descubrieron los problemas de datos por el peor camino, con el número equivocado ya en la mano del ejecutivo. Tener ojos en la salud del dato cambia esa lógica y devuelve la confianza a quien necesita decidir.

El punto que queda es este. La herramienta de observabilidad muestra el incendio, pero quien lo apaga y evita el siguiente es la gobernanza, con dueño, proceso y disciplina. Tecnología y personas trabajando juntas. En tu empresa, cuando el dato se rompe, ¿alguien lo percibe antes del reporte, o solo lo descubren cuando el número no cuadra?