Alles, was Sie über Data Mesh wissen müssen

Data Mesh ist eine Datenarchitektur, die darauf abzielt, eine gemeinsame, zentrale Autorität für Daten in einer Organisation zu schaffen.

Es zielt darauf ab, eine Kultur und Governance rund um Daten zu schaffen, die autonome Self-Service-Teams ermöglichen und sie befähigen, mithilfe von Daten zusammenzuarbeiten und innovativ zu sein. Lassen Sie uns verstehen, worum es bei Data Mesh geht.

What is Data Mesh?

Mit einfachen Worten, Data Mesh ist eine dezentrale Architektur für die Verwaltung von Daten innerhalb einer Organisation, was bedeutet, dass sie darauf ausgelegt ist, den Teams, die sie verwenden, die Kontrolle und den Besitz von Daten zu geben, anstatt sie in einer einzelnen Gruppe oder Abteilung zu zentralisieren.

Es betont die Bedeutung von Daten als Schlüsselkapital. Es wurde entwickelt, um Organisationen dabei zu helfen, eine bessere Datenverwaltung zu erreichen, Datenqualitätund Datenintegration, während gleichzeitig eine Kultur der datengesteuerten Entscheidungsfindung gefördert wird.

Data Mesh Architecture

Eine Data Mesh-Architektur umfasst normalerweise drei Hauptkomponenten: Datenquellen, Infrastruktur und domänenorientierte Datenpipelines, die von funktionalen Eigentümern verwaltet werden.

1. Datenquellen: Dies sind die verschiedenen Datenquellen, die innerhalb der Organisation verwendet werden, wie Datenbanken, APIs und Sensoren.
2. Dateninfrastruktur: Dies ist die zugrunde liegende Infrastruktur, die zum Speichern, Verarbeiten und Verwalten von Daten innerhalb der Organisation verwendet wird. Es kann beinhalten Datenseen, Data Warehouses und andere Datenspeicherungs- und -verarbeitungssysteme.
3. Domänenorientierte Datenpipelines: Dies sind die Pipelines, die verwendet werden, um Daten von den Datenquellen in die Dateninfrastruktur zu verschieben und sie für die Verwendung durch die funktionalen Teams verfügbar zu machen, die sie benötigen. Diese Pipelines werden von den funktionalen Eigentümern verwaltet, die dafür verantwortlich sind, dass die Daten von hoher Qualität sind und den Anforderungen des Unternehmens entsprechen.

Diese drei Komponenten sind miteinander verbunden und integriert, anstatt isolierte Datensilos zu sein. In einer Data Mesh-Architektur sind Teams für die von ihnen verwendeten Daten verantwortlich, einschließlich ihrer Qualität, ihres Zugriffs und ihrer Sicherheit.

Dieser dezentrale Ansatz hilft sicherzustellen, dass Daten effektiv genutzt werden und dass Teams über die notwendigen Informationen verfügen, um fundierte Entscheidungen zu treffen. Es fördert auch eine Kultur der datengesteuerten Entscheidungsfindung, indem es Daten zugänglicher, transparenter und vertrauenswürdiger macht.

Erforderliche Schritte zum Entwerfen einer Datennetzarchitektur

Um Data Mesh innerhalb einer Organisation zu implementieren, können die folgenden Schritte befolgt werden:

# 1. Identifizieren Sie Geschäftsdomänen

Der erste Schritt bei der Implementierung von Data Mesh besteht darin, die Geschäftsdomänen innerhalb der Organisation zu identifizieren. Dies sind die Bereiche des Unternehmens, die dafür verantwortlich sind, den Kunden einen Mehrwert zu bieten. Jede Unternehmensdomäne sollte einen eindeutigen Eigentümer haben, der für die Daten verantwortlich ist, die innerhalb dieser Domäne verwendet werden.

# 2. Etablieren Sie eine Datengovernance

Es sollte ein klarer Rahmen für die Datenverwaltung eingerichtet werden, um sicherzustellen, dass Daten verantwortungsbewusst und ethisch korrekt verwendet werden. Dazu gehört die Festlegung von Rollen und Verantwortlichkeiten für Datenmanagement, Festlegung von Standards für Datenqualität und -genauigkeit und Definition von Prozessen für Datenzugriff und -nutzung.

# 3. Definieren Sie das Eigentum an Daten

Jeder Geschäftsbereich sollte für die von ihm verwendeten Daten, einschließlich ihrer Qualität und Genauigkeit, verantwortlich sein. Das bedeutet, dass die Geschäftsdomäne in die Erstellung und Pflege der Daten sowie deren Nutzung und Verbreitung einbezogen werden sollte.

# 4. Datenkompetenz fördern

Damit Mitarbeiter fundierte Entscheidungen auf der Grundlage von Daten treffen können, ist es wichtig, die Datenkompetenz innerhalb der Organisation zu fördern. Dies kann durch Schulungs- und Schulungsprogramme sowie durch die Bereitstellung von Zugriff auf Tools und Ressourcen erfolgen, die es Mitarbeitern ermöglichen, mit Daten zu arbeiten.

# 5. Demokratisieren Sie den Datenzugriff

Data Mesh fördert die Demokratisierung von Daten, das heißt, Daten sollen allen Mitarbeitern zugänglich gemacht werden. Dies kann durch die Bereitstellung von Tools und Ressourcen erfolgen, die es Mitarbeitern ermöglichen, auf Daten aus dem gesamten Unternehmen zuzugreifen und diese zu nutzen.

# 6. Implementieren Sie Datenoperationen

Um sicherzustellen, dass Daten ordnungsgemäß verwaltet und gepflegt werden, ist es wichtig, Prozesse und Verfahren für den Datenbetrieb einzurichten. Dazu gehören Aufgaben wie Datenaufnahme, Datenumwandlungund Speichern und Abrufen von Daten.

Principles of Data Mesh

Data Mesh wird durch eine Reihe von Prinzipien und Praktiken implementiert, die darauf abzielen, eine Kultur der datengesteuerten Entscheidungsfindung zu schaffen und es den Mitarbeitern zu ermöglichen, einfacher auf Daten aus dem gesamten Unternehmen zuzugreifen und diese zu nutzen.

Zu diesen vier Prinzipien gehören:

# 1. Domänenorientierter dezentraler Datenbesitz und Architektur

Dieses Prinzip betont, wie wichtig es ist, Daten nach Geschäftsbereichen zu organisieren, wobei jede Geschäftseinheit für die von ihr verwendeten Daten und die Qualität dieser Daten verantwortlich ist. Dies trägt dazu bei sicherzustellen, dass die Daten auf die Bedürfnisse des Unternehmens und seiner Kunden abgestimmt sind, und ermöglicht es den Geschäftseinheiten, einfacher auf Daten aus anderen Teilen der Organisation zuzugreifen und diese zu verwenden.

# 2. Daten als Produkt

Dieses Prinzip behandelt Daten als wertvolles Gut, das wie ein Produkt verwaltet und verwaltet werden sollte. Dazu gehören das Definieren von Datenprodukten, das Einrichten von Datenproduktteams und das Erstellen einer Datenprodukt-Roadmap.

# 3. Self-Service-Dateninfrastruktur als Plattform

Es fördert die Schaffung eines Self-Service-Modells für Daten, bei dem Geschäftseinheiten mehr Kontrolle über die von ihnen verwendeten Daten haben und einfacher auf Daten aus anderen Teilen der Organisation zugreifen und diese verwenden können.

# 4. Föderierte Computational Governance

Dieses Prinzip schafft einen Rahmen für die Datenverwaltung, der die Bedürfnisse und Ziele mehrerer Interessengruppen berücksichtigt, darunter Geschäftseinheiten, IT und Datenwissenschaftler. Dieser Ansatz trägt dazu bei, sicherzustellen, dass Daten verantwortungsbewusst und ethisch korrekt verwendet werden, und fördert die Datenkompetenz und datengesteuerte Entscheidungsfindung innerhalb der Organisation.

Importance of Data Mesh

Es gibt mehrere Gründe, warum ein Unternehmen die Einführung von Data Mesh in Betracht ziehen könnte:

Verbesserte Datenqualität und Genauigkeit

Durch die Organisation von Daten rund um Geschäftsdomänen und die Festlegung klarer Eigentumsverhältnisse und Governance kann Data Mesh dazu beitragen, die Qualität und Genauigkeit von Daten innerhalb einer Organisation zu verbessern. Dies kann dazu beitragen, sicherzustellen, dass die Daten auf die Bedürfnisse des Unternehmens und seiner Kunden abgestimmt sind, und kann eine fundiertere Entscheidungsfindung unterstützen.

Verbesserte Zugänglichkeit und Benutzerfreundlichkeit von Daten

Data Mesh fördert die Demokratisierung von Daten, das heißt, Daten sollen allen Mitarbeitern zugänglich gemacht werden. Dies kann durch die Bereitstellung von Tools und Ressourcen erfolgen, die es Mitarbeitern ermöglichen, auf Daten aus dem gesamten Unternehmen zuzugreifen und diese zu nutzen. Indem es den Mitarbeitern ermöglicht, einfacher auf Daten zuzugreifen und diese zu verwenden, kann Data Mesh dazu beitragen, die Datenkompetenz und die datengesteuerte Entscheidungsfindung innerhalb des Unternehmens zu verbessern.

Größere Kontrolle über Daten

Mit Data Mesh erhalten Geschäftseinheiten mehr Kontrolle über die von ihnen verwendeten Daten und die Qualität dieser Daten. Dies kann dazu beitragen sicherzustellen, dass die Daten an den Anforderungen des Unternehmens ausgerichtet sind und von den Personen, die sie benötigen, einfacher abgerufen und verwendet werden können.

Bessere Datenverwaltung

Data Mesh fördert die Einrichtung klarer Data-Governance-Frameworks, die dazu beitragen, dass Daten verantwortungsbewusst und ethisch korrekt verwendet werden. Dazu gehören das Festlegen von Rollen und Verantwortlichkeiten für das Datenmanagement, das Festlegen von Standards für Datenqualität und Genauigkeit sowie die Definition von Prozessen für Datenzugriff und -nutzung.

Insgesamt kann die Einführung von Data Mesh Unternehmen dabei helfen, ihre Datenressourcen besser zu nutzen und eine Kultur der datengesteuerten Entscheidungsfindung zu fördern.

Data Mesh vs. Data Lake

Data Mesh und Data Lake haben mehrere Unterschiede in Bezug auf ihren Fokus, die Organisation von Daten, die Betonung von Data Governance und Literacy sowie den Ansatz für Datenzugriff und -nutzung.

Hier eine tabellarische Gegenüberstellung von Data Mesh und Data Lake:

Ein Data Lake ist ein zentrales Repository, in dem Sie alle Ihre strukturierten und unstrukturierten Daten in beliebiger Größenordnung speichern können. Es ist ein Ort, an dem Daten in ihrer rohen und granularen Form gespeichert werden, bevor eine Verarbeitung oder Transformation stattgefunden hat. Dadurch können Unternehmen Daten flexibler und kostengünstiger speichern und analysieren als herkömmliche Data Warehouses.

Während das Datennetz darauf ausgelegt ist, Teams in die Lage zu versetzen, ihre eigenen Daten zu besitzen und zu verwalten, anstatt sich auf eine zentralisierte Gruppe zu verlassen, die Daten für sie verwaltet.

Data Mesh Learning Resources

Es gibt viele Online-Ressourcen, um mehr über Data Mesh zu erfahren, und es kann überwältigend sein, die hilfreichsten zu finden. Es ist wichtig, Data Mesh richtig zu lernen, um sicherzustellen, dass Sie die Konzepte gut verstehen und sie effektiv in Ihrer Arbeit anwenden können.

Diese Ressourcen können eine Grundlage für das Verständnis der Prinzipien und Praktiken von Data Mesh bieten und Ihnen helfen, die Fähigkeiten aufzubauen, die Sie benötigen, um Daten in einer Data Mesh-Umgebung effektiv zu verwalten und zu analysieren.

# 1. Data Mesh – Ein modernes dezentrales Datenmanagement-Konzept

In diesem Udemy natürlich, Der Trainer deckt die Grundlagen der Data-Mesh-Architektur für ein effektives Datenmanagement ab. Außerdem bietet es verschiedene Fallstudien zur Data-Mesh-Implementierung.

Es ist möglich, diesen Kurs auf Udemy innerhalb einer Woche abzuschließen, abhängig von Ihrem Zeitplan und der Zeit, die Sie dem Kurs widmen können. Es ist jedoch wichtig zu bedenken, dass der Kurs darauf ausgelegt ist, einen umfassenden Überblick über Data Mesh zu geben, und daher möglicherweise mehr Zeit benötigt, um das Material vollständig zu verstehen und aufzunehmen.

# 2. Data Mesh: Die komplette Meisterklasse

Für Personen, die ihren Beruf vorantreiben möchten, dies Data-Mesh-Kurs ist ausgezeichnet. Dieser Kurs behandelt alle Themen im Zusammenhang mit dem Entwerfen eines Datennetzes und einer Datenproduktarchitektur.

Am Ende dieses Kurses sind Sie in der Lage, das Data-Mesh-Konzept in realen Unternehmen umzusetzen. Um mit diesem Kurs zu beginnen, sind keine Vorkenntnisse über Data Mesh erforderlich.

# 3. Data Mesh: Bereitstellung von datengesteuertem Mehrwert in großem Maßstab

Dieses Buch führt in das Konzept des Data Mesh ein und bietet einen klaren Überblick darüber, wie eine Data Mesh-Architektur entworfen wird, sowie einen Leitfaden für Data Mesh-Strategie und -Ausführung.

Vorschau	Produkt	Rating	Preis
	Data Mesh: Bereitstellung von datengesteuertem Mehrwert in großem Maßstab		$ 44.10	Bei Amazon kaufen

Viele Rezensenten haben festgestellt, dass das Buch ein hilfreicher und praktischer Leitfaden ist, um die Prinzipien und Muster von Data Mesh zu verstehen und es in Organisationen zu implementieren.

Fazit

Data Mesh ist ein Designmuster und ein kultureller Rahmen für den Aufbau einer datengesteuerten Organisation. Es basiert auf der Idee, eine „Single Source of Truth“ für Daten innerhalb einer Organisation zu schaffen und das Konzept von Daten als Produkt zu fördern.

Dies wird durch den Einsatz von dezentraler Data Governance erreicht, bei der funktionsübergreifende Teams für die Qualität, Verfügbarkeit und Pflege von Daten innerhalb ihrer Domäne verantwortlich sind.

Data Mesh betont auch, wie wichtig es ist, ein klares Verständnis der Datenverträge zwischen verschiedenen Teams zu schaffen, und fördert die Verwendung von Datenerkennungstools und -plattformen, um den Datenaustausch innerhalb der Organisation zu erleichtern.

Ich hoffe, Sie fanden diesen Artikel hilfreich, um mehr über Data Mesh und seine Prinzipien zu erfahren. Vielleicht interessiert es Sie auch, etwas darüber zu erfahren Datenvirtualisierung.