Data Fabric

Eine Data Fabric ist eine moderne Datenmanagement Architektur, welche die übergreifende Integration und Verbindung von verschiedenen Datenumgebunden ermöglicht. areto bietet Data Fabric Lösungen von IBM, Data Virtuality, AWS und Azure an.

Mit Data Fabric zum optimalen Datenmanagement

Viele Unternehmen versuchen, den Zugriff auf ihre Daten durch Punkt-zu-Punkt-Integration oder Data-Hubs zu beschleunigen. Beides ist jedoch nicht zufriedenstellend, wenn die Daten auf mehrere Standorte verteilt sind oder in Silos liegen. Zudem sorgen solche Konzepte oft für unnötige Komplexität, einen hohen Kostenaufwand und einen hohen Anteil an Daten, der ungenutzt bleibt. Die innovative Lösung für diese Problematik heißt Data Fabric: Die Architektur schafft die virtuelle Verbindung zwischen verschiedenen Cloud- und On-Premises-Umgebungen und stellt sicher, dass alle Daten durch eine Enterprise Insights Platform verfügbar sind. So entsteht das gewünschte Gleichgewicht zwischen Dezentralisierung und Globalisierung.

Was ist eine Data Fabric?

Eine Data Fabric vereinfacht die Nutzung von Daten als unternehmerische Ressource und wurde Mitte 2020 von Forrester Analyst*innen neu definiert.

Das Herzstück ist eine Datenmanagement-Plattform mit einer umfangreichen Bandbreite an Funktionen, die unabhängig von lokalen, Cloud– oder Hybrid Cloud-Plattformen alle wichtigen Insights in Echtzeit liefern. Das Konzept, das als integrierte Schicht (Fabric) Daten und Prozesse verknüpft, verfolgt einen metadatengesteuerten Ansatz.

Data Fabric kann die bereits bestehenden Technologien von Data Hubs, Data Lakes, Data Warehouses und Data Lakehouses nutzen und gleichzeitig neue Ansätze und Tools für die Zukunft einführen. Dabei reduzieren die Data Fabric Architekturen die technologische Komplexität für die Verschiebung, Speicherung und Integration von Daten.

Monitor Data

Gartner sieht Data Fabric als einen der Top 10 Data & Analytics Trends

Lesen Sie hier mehr zu den Gartner Top 10 Data & Analytics Trends.

Ermöglicht wird Data Fabric durch Datenvirtualisierungstechnologie, wie von Data Virtuality. Ausgehend von APIs und SDKs in Verbindung mit vorgefertigten Konnektoren lässt sich die Data Fabric mit jeder Front-End-Benutzeroberfläche verbinden.

Die vorhandenen Daten müssen nicht aus den verschiedenen Quellen verschoben werden. Stattdessen stellt das Tool eine Verbindung zu diesen Quellen her und integriert nur die erforderlichen Metadaten in eine virtuellen Datenschicht durch virtuelle Data Pipelines. Somit sind die Daten in Echtzeit für Nutzer zugänglich. Durch Künstliche Intelligenz und Machine Learning können menschliche Ressourcen geschont werden.

Data Fabric hilft Unternehmen, die Anforderungen der Nutzer*innen zu erfüllen, indem sie zur richtigen Zeit, zu günstigen Kosten und mit durchgängiger Governance, Zugriff auf die gewünschten Informationen erhalten. Die Nutzung der Daten wird erheblich erleichtert und es wird sichergestellt, dass diese jederzeit abgerufen und sehr schnell weiterverarbeitet werden können.

Die wichtigsten Vorteile einer Data Fabric

Schnelle Self-Service-Tools und nahtlose Kollaboration.


Self-Service-Funktionen ermöglichen es autorisierten Nutzern, jederzeit auf die gewünschten Daten zuzugreifen – auch in Projektteams von verschiedenen Standorten aus.

Automatisierung von Governance und Datenschutz durch aktive Metadaten.


Die KI-gestützte Extraktion regulatorischer Dokumente gewährleistet eine schnelle und präzise Umsetzung von Data Governance-Regeln und Definitionen.

Automatisiertes Datenmanagement mit verbesserter Integration.

Mit der Eliminierung von ineffizienten, sich wiederholenden oder manuellen Integrationsprozessen wird die Bereitstellung von qualitativ hochwertigen Daten beschleunigt – inklusive automatischer KI-Analysen in Echtzeit.

86 %
erhöhter ROI
0 %
schnelleres Integrationsdesign
0 %
weniger Wartung
25 %
ETL-Anforderungsreduktion

* Quelle: Forrester-Studie “Projected Total Economic Impact” im Auftrag von IBM (2020); Gartner Top Data Analytics Trends for 2021

Data Fabric Architektur

Für Data Fabric-Lösungen gibt es keine einheitliche Datenarchitektur, da jedes Unternehmen individuelle Anforderungen an die Datenschicht hat. Diese lässt sich durch eine Vielzahl an Schnittstellen mit Tools verschiedensten Provider anwenden. Eine große Anzahl von Unternehmen, die diesen Typ Data-Framework verwenden, weisen folgende Gemeinsamkeiten in der Data Fabric Architektur auf.

data fabric gartner areto 2

*Quelle: 2021 Gartner, Inc. and/or its affiliates. All rights reserved. Gartner is a registered trademark of Gartner, Inc. and its affiliates.

6 wichtige architektonische Komponenten einer Data Fabric

Datenverwaltungsschicht

Verantwortlich für Datensicherheit und Data Governance durch leicht einstellbare Richtlinien und Klassifizierungen.

Datenaufnahmeschicht

Beginn des Zusammenfügens und Verbindens von strukturierten und unstrukturierten (Cloud-)Daten aus bspw. Enterprise Ressource Planning (ERP), CRM-Software, HR-Informationssystemen oder auch externen Systemen wie sozialen Medien.

Datenverarbeitung

Verfeinern und Filtern von relevanten Daten, um sicherzustellen, dass nur relevante Daten für die Datenextraktion genutzt werden.

Datenerkennung

Die Integration und Zusammenführung von Daten aus unterschiedlichen Quellen eröffnet neue Möglichkeiten für ganzheitliche Business-Entscheidungen. Dies wird durch den Einsatz von KI und ML-Algorithmen in Echtzeit unterstützt. Auch werden Analyse und Wissensgraphen-Systeme eingesetzt.

Datenorchestrierung

Transformation, Integration und Bereinigung der Daten zur Aufbereitung für verschiedenste Teams im gesamten Unternehmen. Dabei werden alle Metadaten zur Weiterverarbeitung in ein einheitliches Format umgewandelt.

Datenzugriff

Durch diese Schicht wird der Einsatz von Daten ermöglicht. Eingebettete Analysen in Geschäftsanwendungen und Virtuelle Assistenten helfen bei der Datenexploration. Außerdem unterstützt diese Schicht die Verwendung von Tools zur Visualisierung. Hier lassen sich auch Zugriffsberechtigungen managen, um Data Governance und Compliance Richtlinien einzuhalten.

aretos Data Fabric Referenzarchitektur

Eine Data Fabric zeichnet sich durch die diese  Komponenten aus und ermöglicht Unternehmen auf dem Weg zur data-driven company, einen großen Vorteil im Umgang mit ihren Daten und Sicherheit für die Zukunft. Eine Data Fabric Architektur bietet einen integrierten Ansatz für Datenzugriff und Datennutzung, unabhängig davon, ob die Daten sich On-Premises in herkömmlichen Rechenzentren oder in der Cloud befinden.

Anhand der areto Beispielarchitektur lässt sich der Einsatz der Datenvirtualisierungsschicht von Data Virtuality gut erkennen.

 

Data Fabric Architektur areto 1 1

Data Fabric mit Data Virtuality

Data Virtuality Data Fabric Architektur areto

Data Virtuality bietet eine Plattform, welche sich für verschiedene architektonische Ansätze verwenden lässt und eine geeignete Basis bietet, diese Konzepte in die Realität umzusetzen. Von Self Service Data Pipelines bis hin zu Data Fabric unterstützt Data Virtuality Ihr Datenmanagement.

Hierbei setzt Data Virtuality auf Datenvirtualisierung in Kombination mit automatisiertem ETL und eine darauf aufbauende einheitliche Metadatenschicht. Diese ermöglicht die dynamische und ganzheitlichen Datenmanagement-Architektur. 

Die Data Virtuality Plattform erleichtert das Verschieben und den Austausch von Daten zwischen verschiedenen heterogenen Speichersystemen. Intelligente Konnektoren innerhalb der Plattform unterstützen komplexe Prozesse und optimieren Extraktions- und Ladevorgänge – auch bei großen Datenmengen. Darüber hinaus analysieren KI-basierte Empfehlungs-Engines Datennutzungsmuster für verbesserte Managementprozesse.

Die Plattform bietet einen integrierten Metadatenkatalog – den Business Data Shop, der für alle Geschäftsanwender*innen durchsuchbar und herunterladbar ist. Der Zugriff für Datenkonsument*innen auf den Business Data Shop kann dabei unkompliziert durch einen Webbrowser erfolgen. Hierbei lässt sich durch ein Berechtigungssystem der Zugriff auf sensible Daten verwalten und historisch nachverfolgen, wer Zugriff auf welche Daten hatte und Datenmodelle verändert hat.

Data Virtuality: Ihre Mehrwerte

Daten in Echtzeit
Die virtuelle Schicht ermöglicht direkten Zugriff auch Echtzeitdaten und historische Daten ihrer Quellen

DSGVO-Konformität
Durch die virtuelle Datenebene müssen Nutzer*innen sensible personenbezogene Daten nicht physisch außerhalb der Quellsysteme replizieren

Schnelle Vernetzung
Durch über 200 verschiedene Konnektoren und dazugehörige Konnektor-Assistenten lassen sich Verbindungen zu Datenquellen minutenschnell herstellen (5 Minuten Setup)

Metadatenkatalog
Ein integrierter Business Data Shop macht Daten mit Webbrowsern abrufbar und durchsuchbar

Sicherheit und Governance
Integriertes benutzer- und rollenbasiertes Berechtigungssystem mit Genauigkeit auf Schema-, Tabellen-, und Spaltenebene

Data Fabric mit dem
IBM Cloud Pak for Data

Der Einsatz des IBM Cloud Paks bringt Unternehmen enorme Vorteile und ermöglicht die Einführung des KI-Lebenszyklus im gesamten Unternehmen, basierend auf einer Enterprise Insights Plattform. Die Paketlösung aus dem Hause IBM verbindet Speicherkapazität, Rechenleistung, Netzwerkfunktionen und Software mit Plug & Play-Komfort. Dabei kann Cloud Pak for Data auf jede beliebige Cloudplattform (bspw. Azure, AWS, IBM Cloud) oder auch On-Premises für Hybridumgebungen installiert werden. Dabei wird Red Hat Openshift über die jeweilige Umgebung platziert und ermöglicht so die Nutzung von IBM Cloud Pak for Data.

Durch die Nutzung des IBM Cloud Paks for Data werden Data Science Projekte und die automatisierte Sammlung, Organisation und Analyse aller Daten vereinfacht, was die unternehmensweite Transformation beschleunigt.

Mit der vorkonfigurierten Plattform reduziert sich der Aufwand für die Verwaltung und den Support auf ein Minimum. Somit bleibt erheblich mehr Zeit für das Kerngeschäft und neue Businesskonzepte.

IBM Cloud Pak for Data: Ihre Mehrwerte

Einfache Implementierung
Die Einrichtung der Daten- und KI-Plattform in der Private Cloud dauert nur wenige Stunden

Skalierung nach Wunsch
Intelligentes Konzept mit nutzungsabhängiger Bezahlung, Plug & Play und einem App Store für Anwendungen

Zuverlässiger Einsatz
Volle Flexibilität und Skalierbarkeit in der Public Cloud hinter der Firewall des Kunden

Einheitliche Verwaltung
Einfaches Datenmanagement über das leicht bedienbare Dashboard

Optimierung der IT-Infrastruktur
Integrierte FPGA-Hardware-Beschleunigung für KI-gestützte Analysen

Gartner Magic Quadrant for Data Integration tools areto

IBM wird im Gartner Magic Quadrant als „Leader“ im Bereich „Data integration Tools“ ausgezeichnet.

ibm business partner logo areto

* Diese Grafik wurde von Gartner, Inc. als Teil einer umfassenderen Studie veröffentlicht und ist im Kontext der gesamten Studie zu verstehen. Sie erhalten die Gartner-Studie auf Anfrage von Microsoft.

Gartner spricht keinerlei Empfehlung für die in ihren Studien genannten Hersteller, Produkte oder Dienste aus und empfiehlt Nutzern von Technologien nicht, sich bei der Entscheidung für einen Hersteller ausschließlich nach der höchsten Bewertung oder einer anderen Auszeichnung zu richten. Die Studien von Gartner geben die Meinungen des Gartner-Forschungsinstituts wieder und sind nicht als Tatsachendarstellung aufzufassen. Gartner schließt jede ausdrückliche oder konkludente Gewährleistung hinsichtlich dieser Studie aus, einschließlich jeder Gewährleistung im Hinblick auf Handelsüblichkeit oder Eignung für einen bestimmten Zweck.

 

areto consulting: Unsere Data Fabric USPs

Wir bieten eine große Expertise, wenn es um die Konzeption und Umsetzung moderner Datenarchitekturen oder komplexer Datenbank-Projekte geht.

Wir arbeiten mit über 130 Spezialist*innen, die sich hervorragend in den Bereichen IT-Infrastruktur, Branchenlösungen und Analytics auskennen.

Wir vertrauen auf starke Business-Partner ohne Bindung an bestimmte Unternehmen oder Produkte (Best of Breed-Ansatz).

Wir verfügen über herausragendes Know-how zu den Themen Hybrid-Cloud, Analytics-as-a-Service, Data Engineering, -Warehousing und -Science.

Welche Branchen profitieren am meisten von einer Data Fabric?

Using CRISP-DM to Predict Car Prices Photo by Erik Olsen on Uns 1

Automotive

Pharma thanks louis reed pwcKF7L4 no unsplash

Pharma-Industrie

areto Referenz POC DWH Modernization Banking Photo by Floriane Vita on Unsplash

Finanzdienstleister

Finanzdienstleister, Pharma-Industrie und Automotive. Diese Branchen arbeiten gewöhnlich mit sehr großen Datenvolumina aus unterschiedlichen Quellen – von Maschinen- bis zu Finanzdaten. In den meisten Fällen ist die Nutzung von Edge-Computing und Cloud-Strukturen gesetzt.

Im Bankenumfeld ist eine auf null Datenverlust ausgelegte IT-Infrastruktur mit Systemen und Anwendungen, die den strengen Regulierungsvorgaben entspricht, mit klassischen Methoden kaum darstellbar. Der Aufwand und die Kosten wären viel zu hoch. Für die Pharma- und große Automobilzulieferer gelten ebenfalls höchste Sicherheitsanforderungen: Hier müssen insbesondere die Forschungs- und Entwicklungsdaten geschützt werden.

Für diese Szenarien ist ein Data Fabric-Konzept die optimale Lösung.

Data Fabric - Intelligentes Datenmanagement einfach wie nie!

Jetzt wird das Management Ihrer Hybrid Cloud-Architektur einfach wie nie: Automatisieren Sie mit unserem Data Fabric-Konzept Ihre Data Governance-, Compliance- und Integrationsprozesse!

Profitieren Sie von unserer langjährigen Expertise rund um das Thema Datenmanagement und fordern Sie gleich Ihr Beratungspaket an!

Data Fabric Know-how Videothek

What is Data Fabric?

Data Virtualization in Data Fabric

What are IBM Cloud Paks?

Nutzen Sie Ihre Daten. Entdecken Sie Chancen. Gewinnen Sie neue Erkenntnisse.

Wir freuen uns auf Ihren Kontakt

Daniel Olsberg

Daniel Olsberg
Director Business Development
Telefon: +49 221 66 95 75-0
E-Mail: Daniel.Olsberg@areto.de