Data fabric: qué es, cómo funciona y la diferencia con el data mesh

Una directora de operaciones me dijo una vez que tenía veinte fuentes de datos y ninguna verdad. El ERP decía una cosa, el CRM decía otra, la hoja de cálculo de finanzas decía una tercera, y el data lake que costó una fortuna solo apilaba copias de todo eso sin que nadie supiera cuál valía. Ella no necesitaba un sistema más. Necesitaba una forma de conectar lo que ya existía y confiar en el resultado. Es exactamente ese problema el que el data fabric se propone resolver.

Data fabric se volvió una de las expresiones más mencionadas en arquitectura de datos en los últimos años y, como toda expresión de moda, también se volvió una de las peor explicadas. En este artículo voy a traducir el concepto a lo que significa en la práctica para quien vive los datos dentro de la empresa, mostrar cómo funciona, dónde toca la gobernanza y los datos maestros, y cuál es la diferencia real con el data mesh, que es el término con el que más se confunde.

Qué es el data fabric

Data fabric es una arquitectura de datos que crea una capa inteligente de integración y acceso sobre fuentes de datos dispersas, para que la empresa pueda encontrar, entender, conectar y usar sus datos sin tener que mover todo a un único lugar. La traducción literal es malla de datos, y la imagen ayuda. Es como un tejido que pasa por encima de sistemas distintos, nubes distintas y bases distintas, cosiendo todo en una única experiencia de consulta y uso.

El punto central del data fabric es el metadato activo. Metadato es el dato sobre el dato: la información de dónde vino, qué significa, quién es el responsable, cómo se relaciona con otros datos y con qué calidad llega. En el data fabric ese metadato no se queda quieto en un catálogo que nadie abre. Se usa todo el tiempo, de forma automatizada, con apoyo de aprendizaje automático, para sugerir conexiones, identificar relaciones, aplicar reglas y orientar el propio acceso al dato. Es esa inteligencia sobre el significado del dato lo que separa un data fabric de un simple pipeline de integración.

En la práctica, el data fabric responde a una pregunta que atormenta a casi toda empresa grande. Cómo uso un dato que está en diez lugares, con diez nombres distintos, sin gastar otros seis meses copiando todo a un nuevo repositorio que va a nacer desactualizado. La respuesta del data fabric es conectar en lugar de copiar, y usar el metadato para dar sentido a lo que está conectado.

Cómo funciona en la práctica

Imagina una empresa que tiene el maestro de clientes en SAP, el historial de atención en un CRM en la nube, los datos de facturación en un data warehouse y parte de la operación en hojas de cálculo y sistemas legados. Sin data fabric, cuando alguien pide la visión completa de un cliente, empieza un proyecto. Alguien escribe una integración, alguien copia datos, alguien intenta cruzar registros que no coinciden, y el resultado sale semanas después ya con salvedades.

Con un data fabric, esas fuentes se mapean una sola vez. El metadato de cada una se lee y se cataloga, y las relaciones entre ellas se descubren en parte por reglas y en parte por algoritmos que reconocen que el campo cliente de un sistema es el mismo concepto que el campo cliente de otro. A partir de ahí, la capa de fabric permite consultar al cliente de forma unificada, muchas veces sin mover el dato de su origen, usando virtualización de datos.

Lo que sostiene todo esto es la combinación de cuatro capacidades. Un catálogo que sabe qué existe y qué significa. Una capa de integración que conecta las fuentes, ya sea moviendo el dato o consultándolo en el origen. Un motor de metadatos activos que aprende con el uso y sugiere relaciones y reglas. Y una capa de gobernanza que aplica quién puede ver qué, con qué calidad y bajo qué políticas. Quitar cualquiera de esas patas derriba la mesa. Por eso el data fabric no es un producto que se compra y se enciende. Es una arquitectura que se arma.

Data fabric y data mesh: cuál es la diferencia

Esta es la confusión más común, y existe porque los dos nacieron para resolver el mismo dolor, que es la dificultad de usar datos distribuidos en empresas grandes. La diferencia está en dónde pone cada uno la solución.

Data fabric es una respuesta de tecnología y arquitectura. Pone una capa inteligente, movida por metadatos y automatización, por encima de las fuentes, y centraliza la inteligencia de integración y acceso. La pregunta que responde es técnica. Cómo conectar y dar sentido a todo esto de forma automatizada.

Data mesh es una respuesta de organización y cultura. Distribuye la responsabilidad por los datos a los dominios de negocio, hace que cada área trate sus datos como un producto, con dueño, calidad y contrato de uso, y descentraliza la propiedad. La pregunta que responde es organizacional. Quién es dueño de cuál dato y cómo cada área entrega su dato bien cuidado a las demás.

Uno se enfoca en la malla técnica que cose las fuentes. El otro se enfoca en el modelo de responsabilidad que hace que cada dominio cuide lo que produce. Y aquí está lo que poca gente percibe. No son competidores. Una empresa puede adoptar el modelo organizacional del data mesh, con dominios dueños de sus datos, y usar un data fabric como la tecnología que conecta esos productos de datos y aplica gobernanza de forma consistente. Uno resuelve el problema de responsabilidad, el otro resuelve el problema de conexión.

Y vale la misma salvedad que hago para el data mesh. Ninguno de los dos sustituye la gobernanza de datos. Si los datos maestros están mal, si el mismo proveedor aparece tres veces en el maestro, si cada área entiende cliente a su manera, el data fabric va a conectar y distribuir ese problema con mucha eficiencia. Acelera el acceso al dato. No arregla el dato por arte de magia.

Quién lo usa y quién es responsable

El data fabric suele nacer en las áreas de arquitectura de datos, ingeniería de datos y tecnología, porque involucra integración, metadatos y plataforma. Pero no vive sin el lado de negocio. El arquitecto de datos diseña la malla. El ingeniero de datos construye y mantiene las conexiones. El equipo de plataforma sostiene la operación. Hasta ahí es el mundo técnico.

Del otro lado, y sin ellos nada funciona, están los roles de gobernanza. El data owner, que es el dueño del dato en el negocio, define qué significa ese dato y para qué sirve. El data steward cuida la calidad, las reglas y la resolución de los problemas del día a día. Son ellos quienes alimentan el metadato con significado de negocio, porque un algoritmo reconoce patrones, pero no sabe por sí solo que ese campo es el CNPJ (el número de registro de empresas de Brasil) del proveedor homologado y no un código cualquiera. El data fabric es una tecnología que depende de gente que entienda el dato para funcionar de verdad.

Qué herramientas de data fabric existen

El mercado de plataformas que se posicionan como data fabric es grande y crece cada año. Entre las más citadas están Informatica, con su plataforma de gestión de datos en la nube, IBM, con el ecosistema en torno a Cloud Pak for Data y watsonx.data, Talend, hoy parte de Qlik, Microsoft, con Microsoft Fabric, y Denodo, fuerte en el pilar de virtualización de datos. Herramientas como Ataccama y Tibco también aparecen en este territorio, cada una con su énfasis.

En la parte de catálogo y metadatos, que es el corazón del data fabric, entran nombres como Collibra, Alation y Microsoft Purview, muchas veces trabajando en conjunto con las plataformas de integración. Y cuando el tema es el maestro confiable que abastece esta malla, los datos maestros, vuelven al juego las plataformas de MDM como SAP Master Data Governance, Informatica, Stibo Systems, Reltio, Semarchy, Profisee y Ataccama.

Cito estos nombres de forma neutral, para que el lector conozca el territorio. No existe la herramienta correcta en el vacío. Existe la herramienta adecuada para tu escenario, tu volumen, tus fuentes y tu madurez. Y el error más caro que veo en las empresas es elegir la plataforma antes de entender el propio problema. Tecnología de data fabric mal aplicada sobre datos mal gobernados solo entrega el problema más rápido.

Cómo aprender data fabric

El data fabric no es un tema que se aprenda aislado, porque se apoya en fundamentos. El camino que recomiendo empieza por la base de la gestión de datos, que es el DAMA-DMBOK, el cuerpo de conocimiento que organiza gobernanza, calidad, metadatos, integración y arquitectura. Quien quiere una certificación reconocida encuentra en la CDMP, de DAMA, el camino más sólido para demostrar ese conocimiento en el mercado.

Sobre esa base, vale la pena estudiar los temas que componen el data fabric por dentro. Metadatos y catálogo de datos, para entender la inteligencia que sostiene la malla. Integración y virtualización, para entender cómo se conectan las fuentes. Calidad de datos y datos maestros, para entender por qué la malla solo es confiable si el dato de origen es confiable. Y los dos modelos de arquitectura moderna, data fabric y data mesh, para saber cuándo tiene sentido cada uno. Quien domina estos fundamentos no queda rehén del discurso de ningún proveedor.

Las oportunidades

El área de datos es una de las pocas que sigue teniendo más vacantes que gente preparada para llenarlas. Y dentro de ella, los profesionales que entienden arquitectura moderna de datos, gobernanza y datos maestros al mismo tiempo son raros. Sobra quien sabe solo la herramienta y falta quien entiende el problema de negocio detrás de ella. Arquitecto de datos, ingeniero de datos, especialista en gobernanza y data steward son funciones en alza, con salarios que acompañan la demanda, justamente porque la empresa que invierte en data fabric o data mesh descubre rápido que la tecnología es la parte fácil. La parte difícil es tener gente que entienda el significado del dato, la calidad, el metadato y el negocio. Quien construye ese repertorio no compite por una vacante. Lo compiten a él.

Principales dudas sobre data fabric

¿Data fabric es un producto o una arquitectura? Es una arquitectura, una forma de organizar el acceso y la integración de datos. Existen plataformas que ayudan a implementarla, pero comprar una herramienta no es lo mismo que tener un data fabric funcionando.

¿El data fabric sustituye al data lake o al data warehouse? No. Conecta y da sentido a las fuentes que la empresa ya tiene, incluidos el data lake y el data warehouse. Muchas veces el dato ni siquiera sale de su lugar de origen, gracias a la virtualización.

¿Data fabric y data mesh son lo mismo? No. Data fabric es una respuesta de tecnología, una capa inteligente que cose las fuentes. Data mesh es una respuesta de organización, que distribuye la responsabilidad por los datos a los dominios de negocio. Pueden convivir.

¿Necesito data fabric en mi empresa? Depende del tamaño del problema. Las empresas con muchas fuentes, varias nubes y dificultad real para unificar la información son las que más se benefician. Una empresa pequeña con pocos sistemas lo resuelve con integración tradicional y buena gobernanza.

¿El data fabric resuelve problemas de calidad de datos? No por sí solo. Conecta y distribuye el dato. Si el dato de origen está duplicado o mal registrado, el fabric distribuye ese error con más eficiencia. La calidad viene de la gobernanza y de los datos maestros, no de la malla.

MDM Academy

Todo este tema, data fabric, data mesh, metadatos, calidad y datos maestros, tiene un hilo conductor. Solo funciona cuando hay gente que entiende el dato por dentro, y no solo la herramienta. Para formar a esos profesionales creamos la MDM Academy, la escuela de gobernanza y datos maestros de 4MDG.

La propuesta de la MDM Academy es traducir lo más avanzado que existe en gestión de datos a un lenguaje práctico, ligado al día a día de quien vive el alta y mantenimiento de registros maestros, las compras, el supply chain, TI y los proyectos de SAP. No es teoría suelta. Es formación para quien quiere salir de lo operativo, asumir roles de gobernanza y crecer en un área que no deja de contratar. Si quieres entender de verdad cómo los datos sostienen las decisiones, vale la pena conocer la MDM Academy y entrar al Club de los Datos, donde intercambiamos conocimiento con una comunidad que vive estos problemas todos los días.

Conclusión

Data fabric es una respuesta inteligente a un problema real, el de usar datos que están dispersos por todas partes sin quedar rehén de proyectos interminables de copia e integración. Pero trae la misma lección de siempre. La tecnología más moderna del mundo solo entrega valor sobre un dato que tiene dueño, tiene significado y tiene calidad. La malla cose lo que existe. No inventa la confianza que el dato no tiene.

Por eso, antes de discutir qué plataforma de data fabric adoptar, la pregunta más útil es otra. ¿Tus datos maestros están en orden para ser conectados? Porque conectar datos malos a alta velocidad no es modernización. Es solo esparcir el problema más rápido. En tu empresa, ¿el mayor obstáculo para usar bien los datos está en la tecnología que falta o en la gobernanza que todavía no existe?