Data fabric: o que é, como funciona e a diferença para o data mesh

Uma diretora de operações me disse uma vez que tinha vinte fontes de dados e nenhuma verdade. O ERP falava uma coisa, o CRM falava outra, a planilha do financeiro falava uma terceira, e o data lake que custou uma fortuna só empilhava cópia de tudo isso sem que ninguém soubesse qual valia. Ela não precisava de mais um sistema. Precisava de uma forma de conectar o que já existia e confiar no resultado. É exatamente esse problema que o data fabric se propõe a resolver.

Data fabric virou uma das expressões mais faladas em arquitetura de dados nos últimos anos, e como toda expressão da moda, virou também uma das mais mal explicadas. Neste artigo eu vou traduzir o conceito para o que ele significa na prática de quem vive dados dentro da empresa, mostrar como ele funciona, onde ele encosta na governança e nos dados mestres, e qual é a diferença real para o data mesh, que é o termo com que ele mais é confundido.

O que é data fabric

Data fabric é uma arquitetura de dados que cria uma camada inteligente de integração e acesso sobre fontes de dados espalhadas, para que a empresa consiga encontrar, entender, conectar e usar seus dados sem precisar mover tudo para um único lugar. A tradução literal é malha de dados, e a imagem ajuda. É como um tecido que passa por cima de sistemas diferentes, nuvens diferentes e bancos diferentes, costurando tudo em uma experiência única de consulta e uso.

O ponto central do data fabric é o metadado ativo. Metadado é o dado sobre o dado, a informação de onde ele veio, o que ele significa, quem é o responsável, como ele se relaciona com outros dados e com que qualidade ele chega. No data fabric esse metadado não fica parado num catálogo que ninguém abre. Ele é usado o tempo todo, de forma automatizada, com apoio de aprendizado de máquina, para sugerir conexões, identificar relações, aplicar regras e orientar o próprio acesso ao dado. É essa inteligência sobre o significado do dado que separa um data fabric de um simples pipeline de integração.

Na prática, o data fabric responde a uma pergunta que atormenta quase toda empresa grande. Como eu uso um dado que está em dez lugares, com dez nomes diferentes, sem gastar mais seis meses copiando tudo para um novo repositório que vai nascer desatualizado. A resposta do data fabric é conectar em vez de copiar, e usar o metadado para dar sentido ao que está conectado.

Como funciona na prática

Imagine uma empresa que tem o cadastro de clientes no SAP, o histórico de atendimento em um CRM na nuvem, os dados de faturamento em um data warehouse e parte da operação em planilhas e sistemas legados. Sem data fabric, quando alguém pede a visão completa de um cliente, começa um projeto. Alguém escreve integração, alguém copia dados, alguém tenta casar registros que não batem, e o resultado sai semanas depois já com ressalvas.

Com um data fabric, essas fontes são mapeadas uma vez. O metadado de cada uma é lido e catalogado, e as relações entre elas são descobertas em parte por regras e em parte por algoritmos que reconhecem que o campo cliente de um sistema é o mesmo conceito do campo cliente de outro. A partir daí, a camada de fabric permite consultar o cliente de forma unificada, muitas vezes sem mover o dado da origem, usando virtualização de dados.

O que sustenta tudo isso é a combinação de quatro capacidades. Um catálogo que sabe o que existe e o que significa. Uma camada de integração que conecta as fontes, seja movendo o dado, seja consultando na origem. Um motor de metadados ativos que aprende com o uso e sugere relações e regras. E uma camada de governança que aplica quem pode ver o quê, com que qualidade e sob quais políticas. Tirar qualquer uma dessas pernas derruba a mesa. É por isso que data fabric não é um produto que se compra e se liga. É uma arquitetura que se monta.

Data fabric e data mesh: qual a diferença

Essa é a confusão mais comum, e ela existe porque os dois nasceram para resolver a mesma dor, que é a dificuldade de usar dados distribuídos em empresas grandes. A diferença está em onde cada um coloca a solução.

Data fabric é uma resposta de tecnologia e arquitetura. Ele coloca uma camada inteligente, movida a metadados e automação, por cima das fontes, e centraliza a inteligência de integração e acesso. A pergunta que ele responde é técnica. Como conectar e dar sentido a tudo isso de forma automatizada.

Data mesh é uma resposta de organização e cultura. Ele distribui a responsabilidade pelos dados para os domínios de negócio, faz cada área tratar seus dados como um produto, com dono, qualidade e contrato de uso, e descentraliza a propriedade. A pergunta que ele responde é organizacional. Quem é dono de qual dado e como cada área entrega o seu dado bem cuidado para as outras.

Um foca na malha técnica que costura as fontes. O outro foca no modelo de responsabilidade que faz cada domínio cuidar do que produz. E aqui está o que pouca gente percebe. Eles não são concorrentes. Uma empresa pode adotar o modelo organizacional do data mesh, com domínios donos dos seus dados, e usar um data fabric como a tecnologia que conecta esses produtos de dados e aplica governança de forma consistente. Um resolve o problema de responsabilidade, o outro resolve o problema de conexão.

E vale a mesma ressalva que eu faço para o data mesh. Nenhum dos dois substitui governança de dados. Se os dados mestres estão ruins, se o mesmo fornecedor aparece três vezes no cadastro, se cada área entende cliente de um jeito, o data fabric vai conectar e distribuir esse problema com muita eficiência. Ele acelera o acesso ao dado. Ele não conserta o dado por mágica.

Quem usa e quem é responsável

Data fabric costuma nascer nas áreas de arquitetura de dados, engenharia de dados e tecnologia, porque envolve integração, metadados e plataforma. Mas ele não vive sem o lado de negócio. O arquiteto de dados desenha a malha. O engenheiro de dados constrói e mantém as conexões. O time de plataforma sustenta a operação. Até aí é o mundo técnico.

Do outro lado, e sem eles nada funciona, estão os papéis de governança. O data owner, que é o dono do dado no negócio, define o que aquele dado significa e para que ele serve. O data steward cuida da qualidade, das regras e da resolução dos problemas do dia a dia. São eles que alimentam o metadado com significado de negócio, porque algoritmo reconhece padrão, mas não sabe sozinho que aquele campo é o CNPJ do fornecedor homologado e não um código qualquer. Data fabric é uma tecnologia que depende de gente que entende o dado para funcionar de verdade.

Quais ferramentas de data fabric existem

O mercado de plataformas que se posicionam como data fabric é grande e cresce todo ano. Entre as mais citadas estão a Informatica, com sua plataforma de gestão de dados na nuvem, a IBM, com o ecossistema em torno do Cloud Pak for Data e do watsonx.data, a Talend, hoje parte da Qlik, a Microsoft, com o Microsoft Fabric, e a Denodo, forte no pilar de virtualização de dados. Ferramentas como Ataccama e Tibco também aparecem nesse território, cada uma com sua ênfase.

Na parte de catálogo e metadados, que é o coração do data fabric, entram nomes como Collibra, Alation e Microsoft Purview, muitas vezes trabalhando em conjunto com as plataformas de integração. E quando o assunto é o cadastro confiável que abastece essa malha, os dados mestres, voltam ao jogo as plataformas de MDM como SAP Master Data Governance, Informatica, Stibo Systems, Reltio, Semarchy, Profisee e Ataccama.

Eu cito esses nomes de forma neutra, para o leitor conhecer o território. Não existe a ferramenta certa no vácuo. Existe a ferramenta adequada para o seu cenário, o seu volume, as suas fontes e a sua maturidade. E o erro mais caro que vejo nas empresas é escolher a plataforma antes de entender o próprio problema. Tecnologia de data fabric mal aplicada sobre dados mal governados só entrega o problema mais rápido.

Como aprender data fabric

Data fabric não é um assunto que se aprende isolado, porque ele senta em cima de fundamentos. O caminho que eu recomendo começa pela base da gestão de dados, que é o DAMA-DMBOK, o corpo de conhecimento que organiza governança, qualidade, metadados, integração e arquitetura. Quem quer uma certificação reconhecida encontra na CDMP, da DAMA, o caminho mais sólido para provar esse conhecimento no mercado.

Sobre essa base, vale estudar os temas que compõem o data fabric por dentro. Metadados e catálogo de dados, para entender a inteligência que sustenta a malha. Integração e virtualização, para entender como as fontes se conectam. Qualidade de dados e dados mestres, para entender por que a malha só é confiável se o dado de origem for confiável. E os dois modelos de arquitetura moderna, data fabric e data mesh, para saber quando cada um faz sentido. Quem domina esses fundamentos não fica refém do discurso de nenhum fornecedor.

As oportunidades

A área de dados é uma das poucas que segue com mais vagas do que gente preparada para preenchê-las. E dentro dela, os profissionais que entendem arquitetura moderna de dados, governança e dados mestres ao mesmo tempo são raros. Sobra quem sabe só a ferramenta e falta quem entende o problema de negócio por trás dela. Arquiteto de dados, engenheiro de dados, especialista em governança e data steward são funções em alta, com salários que acompanham a demanda, justamente porque a empresa que investe em data fabric ou data mesh descobre rápido que a tecnologia é a parte fácil. A parte difícil é ter gente que entende de significado do dado, de qualidade, de metadado e de negócio. Quem constrói esse repertório não disputa vaga. É disputado.

Principais dúvidas sobre data fabric

Data fabric é um produto ou uma arquitetura? É uma arquitetura, um jeito de organizar o acesso e a integração de dados. Existem plataformas que ajudam a implementá-la, mas comprar uma ferramenta não é o mesmo que ter um data fabric funcionando.

Data fabric substitui o data lake ou o data warehouse? Não. Ele conecta e dá sentido às fontes que a empresa já tem, incluindo o data lake e o data warehouse. Muitas vezes o dado nem sai do lugar de origem, graças à virtualização.

Data fabric e data mesh são a mesma coisa? Não. Data fabric é uma resposta de tecnologia, uma camada inteligente que costura as fontes. Data mesh é uma resposta de organização, que distribui a responsabilidade pelos dados para os domínios de negócio. Podem conviver.

Preciso de data fabric na minha empresa? Depende do tamanho do problema. Empresas com muitas fontes, várias nuvens e dificuldade real de unificar informação são as que mais se beneficiam. Empresa pequena com poucos sistemas resolve com integração tradicional e boa governança.

Data fabric resolve problema de qualidade de dados? Não sozinho. Ele conecta e distribui o dado. Se o dado de origem está duplicado ou mal cadastrado, o fabric distribui esse erro com mais eficiência. A qualidade vem da governança e dos dados mestres, não da malha.

MDM Academy

Todo esse assunto, data fabric, data mesh, metadados, qualidade e dados mestres, tem um fio condutor. Ele só funciona quando existe gente que entende o dado por dentro, e não apenas a ferramenta. Foi para formar esses profissionais que criamos a MDM Academy, a escola de governança e dados mestres da 4MDG.

A proposta da MDM Academy é traduzir o que existe de mais avançado em gestão de dados para uma linguagem prática, ligada ao dia a dia de quem vive cadastro, compras, supply chain, TI e projetos de SAP. Não é teoria solta. É formação para quem quer sair do operacional, assumir papéis de governança e crescer em uma área que não para de contratar. Se você quer entender de verdade como dados sustentam decisões, vale conhecer a MDM Academy e entrar no Clube dos Dados, onde a gente troca conhecimento com uma comunidade que vive esses problemas todos os dias.

Conclusão

Data fabric é uma resposta inteligente para um problema real, o de usar dados que estão espalhados por todo lado sem virar refém de projetos intermináveis de cópia e integração. Mas ele carrega a mesma lição de sempre. A tecnologia mais moderna do mundo só entrega valor sobre um dado que tem dono, tem significado e tem qualidade. A malha costura o que existe. Ela não inventa confiança que o dado não tem.

Por isso, antes de discutir qual plataforma de data fabric adotar, a pergunta mais útil é outra. Os seus dados mestres estão em ordem para serem conectados? Porque conectar dado ruim em alta velocidade não é modernização. É só espalhar o problema mais rápido. Na sua empresa, o maior obstáculo para usar bem os dados está na tecnologia que falta ou na governança que ainda não existe?