Fünf Herausforderungen auf dem Weg zu einer modernen Datenarchitektur

1. Ablösung alter Systeme und Technologien 

Wir befinden uns im Jahr 2024. Das bedeutet für die IT, viele Technologien, welche einst modern und State of the Art waren, sind es nicht mehr. Das Problem: Nicht wenige Unternehmen tun sich schwer damit, diese Tatsache zu akzeptieren. Die Gründe dafür sind vielseitig: weil sie es nicht sehen können oder wollen, weil das Bewährte zu vertraut und das Neue zu neu erscheint – oder es schlicht zu viel kostet. 

Dabei ist es für Organisationen wichtig zu erkennen, dass der Lifecycle alter Technologien – insbesondere bei gängigen Integrationsplattformen – sich dem Ende nähert und zeitnah abgelöst werden muss. Das beste Beispiel: Viele Menschen, die diese Plattformen bedienen können, gehen bald in Rente. Nachwuchs fehlt generell – oder arbeitet mit ganz anderen Lösungen. Spätestens mit dem Generationswechsel der damit arbeitenden Personen sollte auch ein Generationswechsel bei der Technologie stattfinden. Zudem sind die hohen Lizenzkosten für veraltete Produkte theoretisch vermeidbar. 

Kurz: Auch wenn es auf den ersten Blick manchmal anders scheint, kann es wirtschaftlich und personell effektiv sein, die bestehende Integrationsplattform durch einen modernen, Kafka-basierten Ansatz abzulösen. 

2. Übergang von isolierten Datenströmen zu unternehmensweiter Datennutzung 

Eine weitere entscheidende Herausforderung in diesem Prozess ist der Übergang von fragmentierten Datenströmen zu einer umfassenden, unternehmensweiten Datennutzung. Aufgrund historisch gewachsener Datenstrukturen fehlen Unternehmen oft sowohl Durchblick als auch Übersicht bezüglich der vorhandenen Daten. Ohne dies lassen sich Daten jedoch nicht ganzheitlich betrachten – und schon gar nicht eine unternehmensweite Datenstrategie aufbauen. Entsprechend verteilen sich die Daten beinahe willkürlich im Unternehmen, selbst in vermeintlich fortschrittlichen Branchen wie dem Finanz- und Versicherungswesen. Das wiederum führt dazu, dass manche Abteilungen nichts von diesen Daten wissen, obwohl die darin enthaltenen Informationen für Daily Business hilfreich wären.  

Hierbei handelt es sich nicht um Einzelfälle, sondern um ein fast schon globales Problem. Der Übergang von diesen unkontrollierten Datenströmen zur demokratisierten unternehmensweiten Datennutzung ist daher eine der Kernaufgaben des modernen Datenmanagements. Nur wenn die handelnden Köpfe auf alle wesentlichen Daten zugreifen können – und zwar jederzeit und im definierten Handlungsspielraum uneingeschränkt – können wir von einer smarten Datenstrategie sprechen.    ‍

3. Umdenken von Batch-Verarbeitung zu Echtzeit-Datenströmen

Gleichzeitig muss ein grundlegendes Umdenken in der Datenverarbeitung stattfinden, hin zur Nutzung von Echtzeit-Datenströmen anstelle traditioneller Batch-Verarbeitung. Erfahrungen der vergangenen Jahre zeigen, dass hierfür zwar Werkzeuge existieren, aber nicht korrekt genutzt werden. Dabei reicht es nicht, Technologien lediglich bereitzustellen. Ihre Nutzung muss ebenfalls in der Unternehmenskultur verankert werden. Denn nur wenn es richtig eingesetzt wird, ist ein gutes Werkzeug im Alltag auch effektiv. Ein gutes Beispiel ist der Sprung von der zeitverzögerten Batch- zur Echtzeitdatenverarbeitung. Wenn Daten zwar in Echtzeit-Datenströmen einlaufen, die Mitarbeitenden die Daten jedoch weiterhin, wie nach den Batch-Aktualisierungen, nur zweimal täglich prüfen, verlieren die Echtzeitdaten ihren grössten Vorteil.  

Deshalb ist es für Unternehmen unerlässlich, Fachpersonen gezielt in datenbezogenen Kompetenzen zu schulen. So lässt sich das volle Potenzial von Daten Streaming nutzen: Beispielsweise wären Instant-Payment im Finanzsektor oder dynamische Preisanpassungen im E-Commerce ohne Echtzeitdaten schlicht nicht möglich. Und genau solche Innovationen zeigen, wie entscheidend es ist, das volle Potenzial der Echtzeitverarbeitung auszuschöpfen und die damit verbundenen Chancen zu nutzen.

4. Governance und Self-Service für Datenprodukte

Darüber hinaus müssen Unternehmen lernen, Daten als wertvolle Produkte zu begreifen, die aktiv gepflegt und verwaltet werden müssen, um ihr volles Potenzial auszuschöpfen. Den meisten Organisationen ist zwar bewusst, dass Daten wertvolle Unternehmensressourcen darstellen. Doch Daten verwandeln sich nicht automatisch in brauchbare Informationen. Sie bringen erst dann echten Nutzen, wenn sie richtig genutzt werden. Dazu müssen sie gepflegt und entwickelt werden, ähnlich wie ein Garten. Nur durch eine sorgfältige Verwaltung des gesamten Lebenszyklus der Daten – von der Erfassung über die Verarbeitung bis zur Archivierung – können sie ihr volles Potenzial entfalten und echten Mehrwert schaffen. Ohne diese Pflege bleiben Daten nur Rohinformationen ohne grossen Nutzen. Wesentlich ist dabei, dass a) ein klar definiertes Datenprodukt existiert und b) dieses allen relevanten Teams zur Verfügung steht.

Die Herausforderung besteht darin, dass Unternehmen Daten als Produkt verstehen und dementsprechend nutzen. Nehmen wir als praktisches Beispiel die Stammdaten von Bankkunden: Derzeit werden diese oft über Nacht in verschiedene Datenbanken kopiert, um sicherzustellen, dass alle notwendigen Teams Zugriff haben. Wie viel effizienter wäre es jedoch, wenn dieser Prozess überflüssig wäre? Wenn es ein zentrales Datenprodukt gäbe, auf das jeder direkt zugreifen könnte, sobald es gebraucht wird? Genau das ist das Ziel moderner Architektur-Teams – dafür benötigen sie allerdings die passenden Systeme, wie beispielsweise Kafka.

5. Organisatorische Transformation

Diese Fortschritte können jedoch nur dann erfolgreich umgesetzt werden, wenn wir die Herausforderungen als das erkennen, was sie tatsächlich sind: eine umfassende Transformation. Ein zentraler Aspekt hierbei ist die Anpassung der Verantwortlichkeiten in der Datenintegration. Statt eines zentralen Datenteams, das alle Prozesse steuert und damit leicht zum Engpass wird, sollten autonome Teams etabliert werden, die ihre Daten selbst verantworten. Solche Teams können dann flexibel auf die Daten zugreifen und sie nach Bedarf bearbeiten.

Hier bietet Kafka die ideale Grundlage. Es ermöglicht nicht nur eine hohe Aktualität in der Datenverarbeitung, sondern sorgt gleichzeitig für eine robuste und widerstandsfähige Systemstruktur. Sollte ein Team Fehler in seine Datenprodukte einbauen, bleiben diese lokal begrenzt, ohne sich wie ein Dominoeffekt auf andere Bereiche auszubreiten. So bleibt das Gesamtsystem stabil, selbst wenn es in einzelnen Bereichen zu Problemen kommt.