Tout ce que vous devez savoir sur le maillage de données

Data Mesh est une architecture de données qui vise à créer une autorité centrale partagée pour les données dans une organisation.

Il cherche à créer une culture et une gouvernance autour des données qui permettent aux équipes autonomes en libre-service et leur permettent de collaborer et d'innover en utilisant les données. Comprenons ce qu'est Data Mesh.

What is Data Mesh?

En termes simples, Data Mesh est une architecture décentralisée de gestion des données au sein d'une organisation, ce qui signifie qu'elle est conçue pour donner le contrôle et la propriété des données aux équipes qui les utilisent plutôt que de les centraliser dans un seul groupe ou département.

Il souligne l'importance des données en tant qu'atout clé. Il est conçu pour aider les organisations à améliorer la gouvernance des données, qualité des données, et l'intégration des données tout en favorisant une culture de prise de décision basée sur les données.

Data Mesh Architecture

Une architecture Data Mesh comprend généralement trois composants principaux : les sources de données, l'infrastructure et les pipelines de données orientés domaine gérés par les propriétaires fonctionnels.

1. Les sources de données: Ce sont les différentes sources de données utilisées au sein de l'organisation, telles que les bases de données, les API et les capteurs.
2. Infrastructure de données: Il s'agit de l'infrastructure sous-jacente utilisée pour stocker, traiter et gérer les données au sein de l'organisation. Il peut inclure lacs de données, entrepôts de données et autres systèmes de stockage et de traitement de données.
3. Pipelines de données orientés domaine : Ce sont les pipelines qui sont utilisés pour déplacer les données des sources de données vers l'infrastructure de données et pour les rendre disponibles aux équipes fonctionnelles qui en ont besoin. Ces pipelines sont gérés par les propriétaires fonctionnels, qui sont chargés de s'assurer que les données sont de haute qualité et répondent aux besoins de l'entreprise.

Ces trois composants sont interconnectés et intégrés plutôt que d'être des silos de données isolés. Dans une architecture Data Mesh, les équipes sont responsables des données qu'elles utilisent, y compris de leur qualité, de leur accès et de leur sécurité.

Cette approche décentralisée permet de s'assurer que les données sont utilisées efficacement et que les équipes disposent des informations nécessaires pour prendre des décisions éclairées. Il promeut également une culture de prise de décision basée sur les données en rendant les données plus accessibles, transparentes et fiables.

Étapes nécessaires pour concevoir une architecture de maillage de données

Pour implémenter un maillage de données au sein d'une organisation, les étapes suivantes peuvent être suivies :

# 1. Identifier les domaines d'activité

La première étape de la mise en œuvre du maillage de données consiste à identifier les domaines d'activité au sein de l'organisation. Ce sont les domaines de l'entreprise qui sont chargés de fournir de la valeur aux clients. Chaque domaine d'activité doit avoir un propriétaire clair qui est responsable des données utilisées dans ce domaine.

# 2. Établir la gouvernance des données

Un cadre clair de gouvernance des données doit être établi pour garantir que les données sont utilisées de manière responsable et éthique. Cela comprend l'établissement des rôles et des responsabilités pour gestion des données, établissant des normes de qualité et d'exactitude des données et définissant des processus d'accès et d'utilisation des données.

# 3. Définir la propriété des données

Chaque domaine d'activité doit être responsable des données qu'il utilise, y compris de leur qualité et de leur exactitude. Cela signifie que le domaine de l'entreprise doit être impliqué dans la création et la maintenance des données, ainsi que dans leur utilisation et leur diffusion.

# 4. Promouvoir la littératie des données

Pour permettre aux employés de prendre des décisions éclairées sur la base des données, il est important de promouvoir la littératie des données au sein de l'organisation. Cela peut se faire par le biais de programmes de formation et d'éducation, ainsi qu'en donnant accès à des outils et des ressources qui permettent aux employés de travailler avec des données.

# 5. Démocratiser l'accès aux données

Le maillage de données favorise la démocratisation des données, ce qui signifie que les données doivent être rendues accessibles à tous les employés. Cela peut être fait en fournissant des outils et des ressources qui permettent aux employés d'accéder et d'utiliser les données de toute l'organisation.

# 6. Mettre en œuvre des opérations de données

Pour s'assurer que les données sont correctement gérées et entretenues, il est important de mettre en place des processus et des pratiques pour les opérations de données. Cela inclut des tâches telles que l'ingestion de données, transformation de données, et stockage et récupération de données.

Principles of Data Mesh

Le maillage de données est mis en œuvre via un ensemble de principes et de pratiques qui visent à créer une culture de prise de décision basée sur les données et permet aux employés d'accéder et d'utiliser plus facilement les données de toute l'organisation.

Ces quatre principes incluent :

# 1. Propriété et architecture des données décentralisées orientées domaine

Ce principe souligne l'importance d'organiser les données autour de domaines métiers, chaque business unit étant responsable des données qu'elle utilise et de la qualité de ces données. Cela permet de s'assurer que les données sont alignées sur les besoins de l'entreprise et de ses clients et permet aux unités commerciales d'accéder et d'utiliser plus facilement les données d'autres parties de l'organisation.

# 2. Les données en tant que produit

Ce principe traite les données comme un actif précieux qui doit être géré et gouverné comme un produit. Cela comprend la définition des produits de données, la création d'équipes de produits de données et la création d'une feuille de route de produits de données.

# 3. Infrastructure de données libre-service en tant que plate-forme

Il encourage la création d'un modèle de libre-service pour les données, où les unités commerciales ont plus de contrôle sur les données qu'elles utilisent et peuvent plus facilement accéder et utiliser les données d'autres parties de l'organisation.

# 4. Gouvernance informatique fédérée

Ce principe établit un cadre de gouvernance des données qui prend en compte les besoins et les objectifs de multiples parties prenantes, y compris les unités commerciales, l'informatique et les data scientists. Cette approche permet de garantir que les données sont utilisées de manière responsable et éthique et favorise la littératie des données et la prise de décision basée sur les données au sein de l'organisation.

Importance of Data Mesh

Il existe plusieurs raisons pour lesquelles une organisation peut envisager d'adopter un maillage de données :

Amélioration de la qualité et de la précision des données

En organisant les données autour de domaines d'activité et en établissant une propriété et une gouvernance claires, le maillage de données peut contribuer à améliorer la qualité et l'exactitude des données au sein d'une organisation. Cela peut aider à garantir que les données sont alignées sur les besoins de l'entreprise et de ses clients et peut soutenir une prise de décision plus éclairée.

Accessibilité et convivialité améliorées des données

Le maillage de données favorise la démocratisation des données, ce qui signifie que les données doivent être rendues accessibles à tous les employés. Cela peut être fait en fournissant des outils et des ressources qui permettent aux employés d'accéder et d'utiliser les données de toute l'organisation. En permettant aux employés d'accéder et d'utiliser plus facilement les données, le maillage de données peut contribuer à améliorer la littératie des données et la prise de décision basée sur les données au sein de l'organisation.

Un meilleur contrôle sur les données

Avec le maillage de données, les unités commerciales ont plus de contrôle sur les données qu'elles utilisent et sur la qualité de ces données. Cela peut aider à garantir que les données sont alignées sur les besoins de l'entreprise et peuvent être plus facilement accessibles et utilisées par les personnes qui en ont besoin.

Une meilleure gouvernance des données

Le maillage de données favorise la mise en place de cadres de gouvernance des données clairs qui contribuent à garantir que les données sont utilisées de manière responsable et éthique. Cela comprend l'établissement des rôles et des responsabilités pour la gestion des données, l'établissement de normes pour qualité des données et l'exactitude, et la définition des processus d'accès et d'utilisation des données.

Dans l'ensemble, l'adoption d'un maillage de données peut aider les organisations à tirer davantage parti de leurs actifs de données et à promouvoir une culture de prise de décision basée sur les données.

Data Mesh vs. Data Lake

Le maillage de données et le lac de données présentent plusieurs différences en termes d'orientation, d'organisation des données, d'accent mis sur la gouvernance et la littératie des données, et d'approche de l'accès et de l'utilisation des données.

Voici une comparaison du maillage de données et du lac de données sous forme de tableau :

Un lac de données est un référentiel central qui vous permet de stocker toutes vos données structurées et non structurées à n'importe quelle échelle. C'est un endroit où stocker les données sous leur forme brute et granulaire avant tout traitement ou transformation. Cela permet aux organisations de stocker et d'analyser les données de manière plus flexible et plus rentable que les entrepôts de données traditionnels.

Alors que le maillage de données est conçu pour permettre aux équipes de posséder et de gérer leurs propres données plutôt que de compter sur un groupe centralisé pour gérer les données pour elles.

Data Mesh Learning Resources

Il existe de nombreuses ressources disponibles en ligne pour en savoir plus sur le maillage de données, et il peut être difficile d'essayer de trouver les plus utiles. Apprendre le maillage de données de la bonne manière est important pour vous assurer que vous avez une solide compréhension des concepts et que vous pouvez les appliquer efficacement dans votre travail.

Ces ressources peuvent fournir une base pour comprendre les principes et les pratiques du maillage de données et peuvent vous aider à développer les compétences dont vous avez besoin pour gérer et analyser efficacement les données dans un environnement de maillage de données.

# 1. Data Mesh – Un concept moderne de gestion de données décentralisée

Dans ce nouvel article concernant notre nouveau projet Cours Udemy, Le formateur couvre les bases de l'architecture de maillage de données pour une gestion efficace des données. Et fournit également diverses études de cas sur la mise en œuvre du maillage de données.

Il est possible de suivre ce cours sur Udemy en une semaine, en fonction de votre emploi du temps et du temps que vous pouvez consacrer au cours. Cependant, il est important de garder à l'esprit que le cours est conçu pour fournir un aperçu complet du maillage de données et, en tant que tel, peut nécessiter plus de temps pour comprendre et absorber pleinement le matériel.

# 2. Data Mesh : la classe de maître complète

Pour les personnes qui cherchent à faire progresser leur profession, ce cours de maillage de données est excellente. Ce cours couvre chaque sujet lié à la conception d'un maillage de données et d'une architecture de produits de données,

À la fin de ce cours, vous serez en mesure de mettre en œuvre le concept de maillage de données dans des entreprises du monde réel. Aucune connaissance préalable requise sur le maillage de données n'est requise pour commencer ce cours,

# 3. Data Mesh : fournir une valeur basée sur les données à grande échelle

Ce livre présente le concept de maillage de données et fournit un aperçu clair de la façon de concevoir une architecture de maillage de données et un guide pour la stratégie et l'exécution du maillage de données.

Aperçu	Produit	Rating	Prix
	Data Mesh : fournir une valeur basée sur les données à grande échelle		$44.10	Acheter sur Amazon

De nombreux critiques ont trouvé que le livre était un guide utile et pratique pour comprendre les principes et les modèles de maillage de données et pour l'implémenter dans les organisations.

Conclusion

Le maillage de données est un modèle de conception et un cadre culturel permettant de créer une organisation basée sur les données. Il est basé sur l'idée de créer une « source unique de vérité » pour les données au sein d'une organisation et de promouvoir le concept de données en tant que produit.

Ceci est réalisé grâce à l'utilisation d'une gouvernance des données décentralisée, dans laquelle des équipes interfonctionnelles sont responsables de la qualité, de la disponibilité et de la maintenance des données dans leur domaine.

Le maillage de données souligne également l'importance d'établir une compréhension claire des contrats de données entre les différentes équipes et encourage l'utilisation d'outils et de plateformes de découverte de données pour faciliter le partage des données au sein de l'organisation.

J'espère que vous avez trouvé cet article utile pour en savoir plus sur le maillage de données et ses principes. Vous pourriez également être intéressé à en savoir plus sur virtualisation des données.