Data Vault

Was ist Data Vault ?

Data Vault ist eine Modellierungstechnik für Data Warehouses, die insbesondere für agile Data Warehouses geeignet ist. Sie bietet eine hohe Flexibilität bei Erweiterungen, eine vollständige unitemporale Historisierung der Daten und erlaubt eine starke Parallelisierung der Datenladeprozesse.
Entwickelt wurde die Data-Vault-Modellierung in den 1990ern von Dan Linstedt. Nach ersten Veröffentlichungen im Jahr 2000 erlangte sie ab 2002 durch eine Reihe von Artikeln größere Aufmerksamkeit. 2007 gewann Linstedt die Unterstützung Bill Inmons, der sie als die „optimale Wahl“ für seine DW-2.0-Architektur bezeichnete.

Seit 2013 propagiert Linstedt unter der Bezeichnung Data Vault 2.0 ein Paket aus Modellierungs-, Architektur- und Methodologieansätzen. Beachtenswert sind auch die Veröffentlichungen von Hans Hultgren über Data-Vault-Modellierung und von John Giles über die Erstellung von Data-Vault-Modellen mit Hilfe von Patterns.

areto arbeitet mit dem Data Vault 2.0 Architektur- und Modellierungsansatz und hat eine strategische Partnerschaft mit Scalefree, dem Unternehmen von Dan Linstedt (danlinstedt.com) geschlossen.

Warum sollten Unternehmen Data Vault nutzen?

Data Vault ermöglicht eine flexible und schnelle Anpassung des Data Warehouses. Für Unternehmen ein wirklicher Vorteil. Statische Data Warehouses werden mit der Zeit immer komplexer. Das führt automatisch zu höheren Kosten bei den kontinuierlich auftretenden Erweiterungen und Änderungen am Data Warehouse. Die umfangreichen Implementierungs- und Testzyklen führen aber nicht nur zu einer Kostensteigerung, sondern auch oft zu personellen Engpässen, Innovationsstau und zu einer aufwendigen Suche nach ETL- und Modellierungsexperten.

Unternehmen, die im heutigen Wettbwerb bestehen wollen, können sich diese Wartezeiten nicht leisten. Sie müssen schnell auf sich ständig ändernde aktuelle Marktbedürfnisse reagieren. Das muss sich auch im Data Warehouse widerspiegeln. Hier ist Data Vault die Lösung. Moderne Data Warehouses sind agil!

Modernes modular skalierbares Data Warehousing​

Modern

wurde speziell entwickelt wurde, um Agilität, Flexibilität und Skalierbarkeitsprobleme zu lösen. Ist ein granulares, nichtflüchtiges, prüfbares, historisches Repository für Unternehmensdaten aus mehreren Betriebssystemen.

Modular

Änderungen erweitern das Modell, ohne Bestehendes zu verändern. So gibt es kaum Auswirkungen auf bestehende Prozesse und nur einen minimalen Testaufwand (Regressionstests).

Skalierbar

Vollständige Parallelisierung der Beladung. Unterschiedliche Schnittstellen können unabhängig voneinander geladen werden. Inkrementelle Vorgehensweise. Inhalt ist insert only und mit SCD2-Historisierung versehen. ETL bzw. ELT kann/soll automatisiert stattfinden.​

Einfache Erstellung der Data Vault

Im Interesse unserer Kunden sorgen wir für eine möglichst weitgehende Standardisierung der Datenintegration. Die zunehmende Verbreitung von Data Vault als Datenmodellierungsmethode für das Data Warehouse hat zur Entwicklung zahlreicher Data Warehouse Automation (DWA) Lösungen geführt. Die Kombination von führenden DWA-Tools, analytischer Datenbanken wie Exasol oder Snowflake und der technischen Expertise von areto führt zu einer hohen Zeit- und Kostenersparnis. Wir bieten hierzu marktführende Lösungen unserer Partner WhereScape, Data Vault Builder oder auch unsere Open Source Lösung areto Data Chef, welche wir bereits bei vielen Kundenprojekten schätzen gelernt haben und erfolgreich einsetzen.

Was sind die Vorteile von Data Vault ?

Vorteile für die Fachabteilungen

  • Schnellerer Zugriff auf neue Datenquellen
  • Reduktion der Wartezeiten für wichtige Analyseregebnisse (Time to Insight)
  • Massive Reduzierung von Entwicklungszeit bei der Implementierung von Business Anforderungen
  • Einhaltung von Compliance Anforderungen (z.B. Basel II, BCBS 239)
  • Identifikation neuer Chancen und Risiken,
  • schnellerer Return of Investment (ROI)
  • Skalierbarkeit des Data Warehouse
  • Dokumentation und Nachvollziehbarkeit aller Daten bis zum Quellsystem

Technische Vorteile

  • Near-Real-Time Beladung
  • Big Data Processing
  • Nahtlose Integration von unterschiedlichster Datenquellen (z.B. NoSQL/unstrukturierten Daten)
  • agile, iterative Entwicklungszyklen mit inkrementellen Ausbau des DWHs
  • automatisierbare ETL Patterns

Warum sich mit Data Vault 2.0 beschäftigen?

Der Data Vault Architektur- und Modellierungsansatz ermöglicht mit seinen einfachen und verständlichen Modellierungsparadigmen sowie Namenskonventionen ein schnelles Verständnis der Daten. Data Vault vereint das beste aus der dimensionalen und normalisierten Modellierungswelt. Dadurch ist die Modellierung skalierbar, flexibel und in sich konsistent. Sie ist an die individuellen Bedürfnisse eines Unternehmens anpassbar und bietet eine optimale Unterstützung für agile Vorgehensmodelle.

Data Vault revolutioniert durch seine neue Art der Datenintegration und Datenbereitstellung die Architektur des Data Warehouse. Durch die starke Standardisierung der Abläufe ist es möglich, die Datenbereitstellung zu einem sehr hohen Grad zu automatisieren.

Mit Data Vault schaffen Sie neue Möglichkeiten und Perspektiven Ihr Unternehmen wachsen zu lassen und in die Zukunft zu führen. Sprechen Sie mit uns.

Wie funktioniert der Data Vault 2.0 Architektur- und Modellierungsansatz?

Data Vault 2.0 bietet eine hohe Flexibilität bei Erweiterungen des DWH, eine vollständige Historisierung der Daten und erlaubt eine starke Parallelisierung der Datenladeprozesse. Bei der Modellierung werden alle zu einem Objekt gehörenden Informationen in drei Kategorien eingeteilt und strikt voneinander getrennt.

In die erste Kategorie „Hub“ gehören Informationen, die ein Objekt eindeutig beschreiben, d.h. seine Identität geben (z.B. Produktnummer beim Produkt). Attribute, die ein Objekt beschreiben (z.B. Produktname) gehören in die zweite Kategorie, den „Satellit“. Die dritte Kategorie „Link“ beschreibt Beziehungen zwischen Objekten (z.B. Zuordnung eines Produkts zu einem Vertriebskanal).

Durch diese Art der Modellierung sind Änderungen flexibel möglich, so dass keine bestehenden Tabellen angepasst werden müssen. Es werden einfach neue Tabellen hinzugefügt. Durch die starke Schematisierung der Datenladeprozesse können Templates verwendet werden. So ist eine Änderung bzw. Erweiterung des Datenladeprozesses meist schon durch eine Anpassung der Konfiguration möglich.

Mit Produkten zur Data Warehouse Automatisierung ist es sehr einfach möglich ein Data Vault auf Basis von Metadaten automatisch aufzubauen. Wir bieten hierzu marktführende Lösungen unserer Partner WhereScape, Data Vault Builder oder auch unsere Open Source Lösung areto Data Chef, welche wir bereits bei vielen Kundenprojekten schätzen gelernt haben und erfolgreich einsetzen.

Zusammenarbeit mit Dan Linstedt und Scalefree

areto ist eine langfristige Partnerschaft mit dem Unternehmen Scalefree eingegangen. Scalefree wurde von Dan Linstedt und Michael Olschimke gegründet. Wir arbeiten mit Scalefree zusammen, um Sie umfassend auszubilden, die Methodik bei Ihnen einzuführen oder bestehende Modellierungen weiter zu optimieren. Wir sind außerdem mit eigenem Stand oder mit unseren Partnern langjähriger Aussteller auf dem World Wide Data Vault Consortium (WWDVC) Europe.

Data Vault Automatisierung mit Matillion

Die Geschäftswelt unterliegt einem immer schnelleren Wandel und Unternehmen müssen in der Lage sein, sich sehr schnell an neue Anforderungen anzupassen. Aus diesem Grund sind Business Intelligence Abteilungen gezwungen mehr und mehr in eine agile Entwicklung überzugehen. Nur so können sie den sich ständig ändernden Anforderungen Herr werden. Klassische DataWarehouse-Architekturen und Methoden bieten aber nicht den nötigen Standardisierungs- und Automatisierungsgrad.

Dieses Webinar zeigt ihnen, wie sie mit Hilfe von Matillion ein cloud-basiertes Data Vault-Automatisierungs-Framework aufbauen können. So verkürzen Sie die Entwicklungszeit für Ihr Cloud-DWH und das daraus resultierende Time-to-Insight.

Gern stehen wir für weitere Informationen zur Verfügung.

Wir freuen uns auf Ihren Kontakt

till sander areto

Till Sander
CTO
Telefon: +49 221 66 95 75-0
E-Mail: till.sander@areto.de

Demo anfordern