Moderner Datenstapel: Welche Herausforderungen bestehen?

Einführung

Das moderne Datenstack ist in datengesteuerten Unternehmen sehr beliebt. Dies ist nicht verwunderlich, denn der Stack selbst wird von cloudnativen Tools angetrieben, die für die Unterstützung von Künstlicher Intelligenz (KI), maschinellem Lernen und fortgeschrittener Analyse konzipiert sind. Der Stack verspricht Skalierbarkeit, Modularität und Geschwindigkeit.

Aufgrund der weltweit erzeugten riesigen Datenmengen ist ein Stack zur Datenverwaltung erforderlich. Statista prognostiziert, dass die globale Datenproduktion bis 2028 394 ZB überschreiten wird, was die Notwendigkeit eines fortschrittlichen Stacks mit hohem Bedienungsschwellen noch deutlicher macht.

Alles scheint gut organisiert, aber das gilt nur theoretisch. Mit der Einführung dieses Datenstacks in Unternehmen hat sich die Situation geändert. Teams müssen oft mehrere Pipelines und Plattformen nutzen. Obwohl das Ziel darin bestand, die Prozesse zu vereinfachen, hat es zu neuen "Dateninseln" geführt, wie z. B. erhöhte Komplexität und Fragmentierung.

Dies liegt daran, dass Teams innerhalb derselben Organisation verschiedene Tools für unterschiedliche Datenfunktionen nutzen. Obwohl die Tools überlappende Funktionen haben, ist die Interoperabilität weit hinter den Erwartungen zurückgeblieben.

Was sind die Folgen?

• Redundante Datenpipelines, isolierte Arbeitsabläufe und erhöhte Integrationskosten haben einen erheblichen Einfluss auf die Kosten.
• Wartung und Integration erfordern kontinuierliche Ressourcen und Anstrengungen.
• Die Kosten für Infrastruktur und Tools steigen stetig.
• Die steile Lernkurve und die erforderlichen Fachkenntnisse erschweren die Einstellung neuer Mitarbeiter oder die Demokratisierung der Datennutzung.

Das moderne Datenstack soll die schnellere Gewinnung von Erkenntnissen ermöglichen, aber aufgrund einiger offensichtlicher Kompromisse besteht die Gefahr, dass es zu einem Engpass wird. Für Organisationen, die ihre Daten- und KI-Aktivitäten erweitern möchten, ist es von entscheidender Bedeutung, die Herausforderungen des Datenstacks klar zu verstehen, damit er ein Partner und nicht ein Hindernis wird.

Herausforderungen des modernen Datenstacks

Der Datenstack entwickelt sich ständig weiter, aber wie oben erwähnt, verhindern einige erhebliche Herausforderungen, dass er sein volles Potenzial entfalten kann.

1. Fragmentierung der Tools

Die Fragmentierung der Tools ist eine der dringlichsten Herausforderungen im modernen Datenstack heutzutage. Ein typischer Datenstack besteht aus Tools für Datenerfassung, -transformation, -speicherung, -orchestrierung, Business Intelligence (BI), maschinelles Lernen und Reverse ETL usw., wobei jedes Tool über eigene Funktionen verfügt. Diese Vorgehensweise schafft jedoch ein überladenes Ökosystem aus verschiedenen Tools, deren Integration unter dem erwarteten Niveau liegt.

Das Fehlen von Interoperabilität zwischen den Tools erhöht die Gesamtkomplexität. Teams verbringen viel Zeit damit, die Tools richtig zu integrieren, anstatt die tatsächlichen geschäftlichen Probleme zu lösen.

Redundante Arbeitsabläufe durch Tools mit überlappenden Funktionen bringen Teams bei Entscheidungen in Schwierigkeiten. Schließlich wird die Verwaltung von Konfigurationskonsistenz, Herkunft und Zugriffsrechten extrem schwierig.

2. Betriebliche Komplexität

Fragmentierung führt zu erhöhter betrieblicher Komplexität. Warum? Jedes Tool erfordert eine eigene Überwachung, Fachkenntnisse und Konfiguration. Dies bringt die Belastung für das Datenteam an die Grenzen, da es die Infrastruktur warten, Störungen behandeln, die Leistung anpassen und den gesamten Datenstack lauffähig halten muss.

Eines der auffälligsten Probleme dieser Komplexität ist ihr Einfluss auf die Kosten, die stark ansteigen. Mehr Tools bedeuten mehr Pipelines, die debuggt werden müssen, mehr Integrationen, die überwacht werden müssen, und mehr Aufgaben, die an verschiedene Teams delegiert werden müssen. Eine modulare Architektur kann zu einem Wirrwarr aus zu vielen Verantwortlichkeiten werden, der den Fortschritt verlangsamt und alles aufs Spiel setzt.

3. Lücke bei Datenqualität und Vertrauen

Die Verbesserung der Datenqualität ist ein wichtiges Ziel jedes Datenstacks. Allerdings können inkonsistente Standardüberprüfungen, unklare Datenbesitzverhältnisse und Pipelineausfälle zum Verlust des Vertrauens in die Daten führen. Aufgrund mangelnder Tests und Beobachtbarkeit reagieren Teams oft spät auf Qualitätsprobleme und beachten sie erst, wenn sie die Entscheidungen negativ beeinflussen.

Der traditionelle Lebenszyklus der Datenqualität. Aspekte wie Qualitätsüberwachung und Datenverträge sind noch in den Kinderschuhen und nicht eng in die Arbeitsabläufe integriert. Was ist das Ergebnis? Benutzer stellen die Aktualität, Vollständigkeit und Genauigkeit der Daten in Frage. Ohne absolutes Vertrauen führt dies zu doppelter Arbeit, aufgeschobenen Projekten und Abhängigkeit von manuellen Tabellenkalkulationen. Der Wert des gesamten Technologiestacks wird verringert.

4. Metadaten-Schulden

Das Metadatenmanagement ist eines der am wenigsten ausgeschöpften Bereiche im modernen Datenstack. Wenn neue Tools in das Datenökosystem gelangen, werden die Metadaten oft schnell veraltet oder fragmentiert.

Einfach ausgedrückt, sind Metadaten der Kontext um die Daten oder die Bedeutung und Relevanz hinter den Daten. Sie erzählen die Geschichte der Daten. Was bedeuten diese Daten? Woher stammen sie? Wie oft werden sie aktualisiert? Wo befinden sie sich? Wer nutzt sie? Wofür werden sie verwendet? Wie oft werden sie verwendet? Und so weiter...

Kurz gesagt, ohne Metadaten haben die Daten keinen Wert und es entsteht Chaos. Es ist nicht verwunderlich, dass die meisten Organisationen über eine große Menge an nutzlosen Daten verfügen, da sie vom Kernsemantischen Modell getrennt sind. In einfachen Worten wird dies als "dunkle Daten" bezeichnet. Dunkle Daten beziehen sich nicht auf die Speicherkosten, sondern auf die finanziellen Kosten, die durch die fehlende Nutzung von reichen, wertvollen Daten entstehen.

Drei Regeln für Metadaten:

Ein Teil der Metadaten gibt einen Teil des Datenwerts frei.

Metadatenströme, die nicht miteinander kommunizieren, erzeugen keine neuen, wertvollen Metadaten.

Metadaten sind am sinnvollsten, wenn sie aus der gesamten Datenreise und nicht aus begrenzten Grenzen oder Komponenten extrahiert werden.

Daher hat der Metadaten-Sammelprozess selbst einen Einfluss auf das Potenzial der Metadaten. Es reicht nicht aus, einfach nur Metadaten zu sammeln. Die richtige Sammlung von Metadaten ist das Wichtigste.

Im Folgenden finden Sie eine vergleichende Übersicht über zwei Sammelmethoden.

Modulares System oder Metadaten im modernen Datenstack

Metadaten werden teilweise von verschiedenen extern integrierten Komponenten eingefügt. Zwischen diesen verschiedenen Komponenten besteht nicht genug Raum für eine kontinuierliche Interaktion, um reiche Metadaten aus einem dichten Netzwerk zu generieren.

Dies führt zu Metadaten-Schulden, was eine der größten Herausforderungen für den modernen Datenstack ist. Die Kosten sind unklare Datendefinitionen, fehlender Kontext und schlechte Auffindbarkeit, da Datenanalysten viel Zeit damit verbringen müssen, Daten zu lokalisieren und zu validieren. Darüber hinaus müssen Ingenieure die Pipelines umgehen, da es für die bestehenden Ressourcen nicht genug Sichtbarkeit gibt.

Einheitliches System

Eine einheitliche Architektur besteht aus locker gekoppelten und eng integrierten Komponenten, die eng miteinander interagieren/vernetzt sind und dabei dichte Metadaten generieren und erfassen, die auf einer einheitlichen Ebene zurück zu den Komponenten fließen.

5. Fehlende klare Zuständigkeit

Das gesamte Konzept des modernen Datenstacks basiert auf der Erhöhung der Flexibilität durch Tools. Allerdings hat dies bei der klaren Definition der Zuständigkeiten des Datenteams zu viel Verwirrung geführt.

Verschiedene Tools für Datenerfassung, -transformation, -orchestrierung und andere verwandte Funktionen führen zu einer Verteilung der Verantwortung zwischen verschiedenen Teams und Rollen. Im Kontext des end-to-end-Datenlebenszyklus fehlt es an Verantwortlichkeit für jede Funktion. Eine fragmentierte Architektur schafft Verwirrung, schwächt die Verantwortlichkeit und verlangsamt die Problemlösung.

Effektives Datengovernance wird ebenfalls beeinträchtigt, da die Umsetzung von Richtlinien und Datensätzen oft über die Teamgrenzen hinausgeht. Echte Datenbesitzverhältnisse erfordern mehr als nur die Zuweisung von Namen zu Datensätzen oder Dashboards, um wirklich unterstützend zu sein.

6. Lücken bei Compliance, Sicherheit und Zugangskontrolle

Mit zunehmender Datenmenge steigen auch die damit verbundenen Risiken. Ein Bericht von Cyber security Insiders zeigt, dass 91 % der Cybersicherheitsexperten der Meinung sind, dass ihre Systeme nicht auf Null-Tage-Schwachstellen oder neu entdeckte Schwachstellen vorbereitet sind. Dies zeigt, dass die bestehenden Compliance-Praktiken bei fortschrittlichen Datenstacks hinterherhinken.

Ja, die verwendeten Tools haben ihre eigenen Zugangskontrollen, aber ohne ein gemischtes Governance-Framework werden Schwachstellen schnell sichtbar. Probleme wie inkonsistente Rollenzugänge, schwache Prüfungsmechanismen, Nichtbefolgen von Standards wie dem Datenschutzrecht und unzureichende Verschlüsselung häufen sich und schwächen im Laufe der Zeit Prozesse und Pipelines.

7. Dateninseln und Schattenabläufe

Ironischerweise hat der Datenstack, der für die Vereinheitlichung von Daten entwickelt wurde, am Ende die "Dateninseln" neu geschaffen, die es ursprünglich zu beseitigen galt. Dies liegt daran, dass verschiedene Teams ihre eigenen Tools, Pipelines und Prozesse haben, was zu redundanten Arbeitsabläufen und inkonsistenten Datenzugängen führt.

Schwaches Datengovernance führt zu Schattenarbeitsabläufen, bei denen nicht autorisierte Datensätze, undefinierte Pipelines und isolierte Dashboards tägliche Herausforderungen darstellen, die außerhalb der definierten Governancekontrollen liegen, was zu Compliance-Risiken, doppelter Logik und inkonsistenten Berichten führt.

Einfluss der Herausforderungen des modernen Datenstacks auf die Rendite

Der moderne Datenstack scheint ein Siegeszug zu sein, da er Skalierbarkeit, Agilität und die Demokratisierung der Daten in den Vordergrund stellt. Sobald Organisationen jedoch eine Vielzahl von Tools mit begrenzten Funktionen einführen, wird die Gesamtkomplexität so hoch, dass die Rendite in Frage gestellt wird.

Obwohl Geschwindigkeit und Agilität im Mittelpunkt stehen, kann die Verwendung zu vieler inkohärenter Tools zu inkonsistenten Integrationen, neuen Dateninseln und einem starken Anstieg der betrieblichen Kosten führen.

Das größte Problem hierbei ist, dass nicht nur das Datenteam betroffen ist, sondern die gesamte Organisation. Benutzer haben Verzögerungen bei der Gewinnung der richtigen Erkenntnisse, das Vertrauen in die Daten wird geschwächt, und Datengovernance wird eher reaktiv als proaktiv. Zwar bringt jedes neue Tool einige Vorteile, aber die Kosten für Überwachung, Orchestrierung und Compliance steigen stetig.

Der Stack wird "modern", aber Effizienz und Rendite leiden darunter. Da Teams viel Zeit damit verbringen müssen, die verstreuten Pipelines zu integrieren, anstatt sich auf positive strategische Ergebnisse zu konzentrieren, verlängert sich die Zeit, um handlungsfähige Erkenntnisse zu gewinnen. Um den richtigen Wert zu erzielen, müssen Organisationen ihre Datenstrategie mit den Prinzipien des Produktdenkens abstimmen. Dies ist für die Schaffung eines richtigen geschäftlichen Einflusses von entscheidender Bedeutung.

Die Zukunft des modernen Datenstacks: Ein datenorientierter Ansatz

Während Organisationen mit der Komplexität des modernen Datenstacks kämpfen, hat sich eine Version entwickelt, in der die Daten vor den Auswirkungen von Tools und Architekturen stehen. Dies ist der "datenorientierte" Ansatz des Stacks, bei dem das