Der Data Mesh-Ansatz

Das Data Mesh ist eine Datenarchitektur für eine bessere Zusammenarbeit "Daten-Self-Servic"  in Unternehmen. Dieses neue Paradigma wird aufgrund seiner vielen Vorteile zunehmend in Unternehmen eingesetzt.

Unternehmen nutzen zunehmend Big Data und Small Data, um bessere Entscheidungen zu treffen. Die Datenarchitektur eines Unternehmens ist jedoch nicht immer optimiert.

Um das volle Potenzial von Daten zu erschließen, müssen Datenexperten in der Lage sein, Daten einfach abzufragen und zu analysieren. Ein isoliertes Data Warehouse oder ein Data Lake bietet oft nur begrenzte Möglichkeiten und erfüllt diese Anforderungen nicht.

Das Paradigma der Data Mesh-Architektur adressiert diese Probleme und verspricht, die Art und Weise, wie Unternehmen ihre Daten verwalten, zu verändern.
Aus diesem Grund wird Data Mesh in allen Branchen in rasantem Tempo eingeführt.

Was ist Data Mesh?

Der Begriff Data Mesh wurde erstmals von Zhamak Dehghani, einem Berater bei ThoughtWorks, geprägt. Diese Art von Datenplattform-Architektur macht sich die breite Verfügbarkeit von Daten zunutze, indem sie einen "Self-Service" Ansatz verfolgt.
In der Welt der Software-Entwicklung sind die Teams von monolithischen Anwendungen zu Microservice-Architekturen übergegangen. Einfach ausgedrückt, ist Data Mesh das Äquivalent zu Microservices für Daten.

Die allgemeine Idee besteht darin, die Datenstruktur mit denr Geschäftsbereichen zu verbinden.
Herkömmliche monolithische Dateninfrastrukturen vereinen Datenverbrauch, -speicherung und -umwandlung in einem zentralen Data Lake. Dies ist beim Data Mesh nicht der Fall, bei dem jeder Geschäftsbereich für seine eigene Datenpipeline verantwortlich ist. Eine universelle Interoperabilitätsschicht, die dieselbe Syntax und dieselben Datenstandards verwendet, verbindet Daten aus verschiedenen Bereichen.

Das Data Mesh basiert auf mehreren Schlüsselkonzepten. Erstens ist "Data Ownershiop" auf verschiedene "Dateneigner" in jedem Bereich verteilt. Jeder ist für seine Daten als Produkt verantwortlich. Außerdem müssen die  "Dateneigner" die Kommunikation zwischen Daten, die über verschiedene Standorte verteilt sind, erleichtern. Das RACI-Modell eignet sich gut für eine solche Organisation.

Die Dateninfrastruktur ist dafür verantwortlich, jedem Bereich die Lösungen zur Verfügung zu stellen, die er für die Verarbeitung von Daten benötigt, aber die Bereiche sind für die Verwaltung der Aufnahme, Bereinigung und Aggregation von Daten verantwortlich, um eine Nutzung durch Business Intelligence-Anwendungen zu erleichternt.

Jeder Bereich ist für seine eigenen Daten-Pipelines verantwortlich, mit Ausnahme bestimmter Funktionen, die allen Bereichen gemeinsam sind, z. B. die Speicherung, Katalogisierung und Verwaltung der Zugriffsrechte auf Rohdaten. Sobald die Daten innerhalb eines Bereichs verarbeitet wurden, können die Dateneigentümer sie für ihre eigenen spezifischen Analysen verwenden.

Eines der herausragenden Merkmale des Data Mesh ist die "Selbstbedienung". Mit Hilfe bereichsbezogener Gestaltungsprinzipien wird eine "Selbstbedienungs"-Plattform bereitgestellt, mit der Nutzer von technischen Zwängen befreit werden, und die eine Konzentration auf die produktive Nutzung von Daten ermöglicht.

Ein zentrales System koordiniert die Datenpipeline-Engines, das Speichermanagement und die gesamte mit dem Streaming verbundene Infrastruktur. Jede Geschäftseinheit nutzt diese Ressourcen, um Daten-Pipelines entsprechend ihren eigenen Anforderungen einzusetzen. Dieser Ansatz begrenzt die Redundanz von Aufgaben und Fachwissen, die für die Verwaltung von Pipelines und Infrastruktur erforderlich sind, und verschafft jeder Gruppe größere Unabhängigkeit.

Schließlich wird die Interoperabilität durch eine Reihe universeller Standards erleichtern. Datenformate, Governance, Auffindbarkeit und Metadatenfelder müssen standardisiert werden, um die Zusammenarbeit zwischen verschiedenen Bereichen rund um Daten zu ermöglichen.

Warum ein Data-Mesh verwenden?

Lange Zeit bevorzugten die Unternehmen ein zentrales Data Warehouse, das mit mehreren Business Intelligence-Plattformen verbunden war. Für die Pflege dieser Lösungen war ein kleines Team von Spezialisten zuständig.

Heute geht der Trend zu Data Lake-Architekturen, die Datenverfügbarkeit in Echtzeit und Streaming-Verarbeitung bieten. Das Ziel ist die Aufnahme, Anreicherung, Umwandlung und Bereitstellung von Daten über eine zentrale Plattform.

Diese Art von Architektur hat jedoch ihre Schwächen. Eine zentralisierte Daten-Pipeline bietet weniger Kontrolle über wachsende Datenmengen. Ein solcher Ansatz berücksichtigt auch die Besonderheiten der verschiedenen Datentypen nur ungenügend.

Dank seiner bereichsorientierten Struktur verbindet das Data Mesh die Vorteile eines zentralisierten Data Lake mit der Autonomie der verschiedenen Abteilungen des Unternehmens. Im Ergebnis bietet es :

Skalierbarkeit: Der dezentrale Ansatz ermöglicht eine bessere Verwaltung der wachsenden Datenmengen.

Flexibilität: Indem jeder Bereich oder jede Abteilung seine/ihre eigenen Daten verwalten kann, können Unternehmen flexibler agieren und sich schnell an veränderte Anforderungen anpassen.

Verantwortlichkeit und "Ownership": Jeder Bereich ist Eigentümer seiner Daten als Produkt. Dies unterstreicht die Bedeutung von Datenqualität, Governance und Kommunikation.

Selbstbedienung: Die Data Mesh-Architektur erleichtert den Nutzern den Zugang zu den Daten und deren Nutzung und reduziert die technische Komplexität.

Wann sollten Sie den Data Mesh-Ansatz anwenden?

Data Mesh kann besonders für Teams relevant sein, die große Mengen an Datenquellen verwalten und schnell verarbeiten müssen.
Die Wahl der Datenarchitektur hängt von einer Reihe von Faktoren ab, darunter die Anzahl der Datenquellen, die Größe des Teams, die Anzahl der Datendomänen, die Hindernisse, denen sich das Data-Engineering-Team gegenübersieht, und die Bedeutung der Data Governance innerhalb des Unternehmens

Je größer und komplexer die Anforderungen an die Dateninfrastruktur innerhalb des Unternehmens sind, desto wahrscheinlicher ist es, dass ein Data-Mlesh von Vorteil ist. Diese Architektur verbessert auch die Nutzung der Daten nach dem Self-Service-Prinzip.
Nicht alle Unternehmen müssen eine Data-Mesh-Architektur sofort übernehmen. Der Wert eines Data Mesh liegt in der Fähigkeit, große Mengen an Datenquellen schnell und effizient zu verwalten. Organisationen mit einer komplexen Dateninfrastruktur, einer verstärkten Betonung von Data Governance oder einem Bedarf an Self-Service-Möglichkeiten werden den größten Nutzen aus der Einführung dieses Ansatzes ziehen.

Data Mesh ist die nächste große architektonische Veränderung in der Welt der Daten. Mit seiner Betonung auf Dezentralisierung, Verantwortlichkeit und Self-Service bietet es eine robuste Lösung für die aktuellen Herausforderungen, denen sich viele Unternehmen bei der Datennutzung gegenübersehen. Da Daten heute allgegenwärtig und unverzichtbar sind, kann die Einführung der richtigen Architektur wie Data Mesh für viele Unternehmen der Schlüssel zu einer erfolgreichen Datenstrategie sein. Wir von data IQ helfen Unternehmen bei der Entwicklung einer effektiven Datenstrategie. Von einfachen Workshops bis hin zu umfassender Unterstützung bieten wir eine Reihe von Dienstleistungen an, die auf Ihre Anforderungen an das Datenmanagement zugeschnitten sind.