Die Cloud-Nutzung nimmt weiter zu, da agile Entwicklung, schnelle Bereitstellung und unbegrenzte Skalierung für Unternehmen zu einem wichtgen Wettbewerbsfaktor werden. areto hilft beim Aufbau einer optimalen Cloud Architektur und der Auswahl von über 200 AWS Cloud-Services, wie z. B. AWS Lambda, AWS Console, AWS S3, AWS Kinesis, AWS Redshift. Wir identifizieren und entwickeln Use Cases, mit denen Organisationen  schneller reagieren und ihre Kosten senken können.

Amazon Web Services
(AWS)

Was ist AWS (Amazon Web Services)?

Amazon Web Services (AWS) ist mit mehr als 200 Services, die weltweit umfassendste Cloud-Plattform. Umfangreiche Funktionen, global verteilte Rechenzentren sowie eine große Zuverlässigkeit machen AWS zum Marktführer. Unsere Kunden vertrauen auf AWS, wenn es darum geht, agiler zu werden, Kosten zu senken, die eigenen Innovationen schneller zu realisieren.

AWS - der Weg in die Cloud

Der Weg in die Cloud ist für jedes Unternehmen eine individuelle Herausforderung: Der Erfolg hängt (wie immer) von der sorgfältigen Vorbereitung ab: Einer genauen, wirklichkeitsgetreuen Erfassung des Ist-Zustands der Organisation sowie ein gemeinsames Verständnis des Zielzustands und des zum Erreichen dieses Zieles erforderlichen Weges. Mit diesem Wissen können Organisationen Ziele setzen und Arbeitsabläufe erstellen, die es den Mitarbeitern und damit dem Unternehmen ermöglichen, in der Cloud erfolgreich zu sein.

AWS Strategie-Workshops von areto helfen alle relevanten Stakeholder auf diesem Weg mit einzubeziehen. So starten Unternehmen ihre erfolgreiche „Digital Journey“. In der ersten Workshop-Phase untersuchen wir den Ausbildungsbedarf in Bezug auf AWS bzw. Analytics-Fähigkeiten, untersuchen vorhandene Prozesse, definieren notwendige Arbeitsströme, identifizieren Abhängigkeiten zwischen diesen Arbeitsströmen. So können wir den Aufbau der AWS Architektur optimieren. Die areto AWS Workshops zeigen Ihnen, welche organisatorischen Fähigkeiten Sie aktualisieren müssen, wie Sie bestehende Prozesse ändern sowie neue Prozesse einführen können.

AWS Well-Architected Framework

areto arbeitet nach dem „AWS Well-Architected Framework“.

Durch die Verwendung des AWS Well-Architected Frameworks nutzt areto architektonische Best Practices für die Entwicklung und den Betrieb zuverlässiger, sicherer, effizienter und kostengünstiger Systeme in der Cloud. aretos Architekturen werden dabei konsequent an AWS Best Practices gemessen, um so den Kunden den höchsten Nutzen zu liefern.

Das AWS Well-Architected Framework basiert auf fünf Säulen: Operational Excellence, Sicherheit, Zuverlässigkeit, Leistungseffizienz, Kostenoptimierung.

Operational Excellence
optimale Gestaltung von Betrieb und Monitoring der Systeme sowie kontinuierliche Verbesserung unterstützender Prozesse und Verfahren

Security
Schutz von Informationen, Systemen, Anlagen, Risikobewertungen und Strategien zur Risikominderung

Kostenoptimierung
Maximierung des ROI durch den kontinuierlichen Prozess der Verbesserung des Systems über seinen gesamten Lebenszyklus.

Zuverlässigkeit
Gewährleistung von Sicherheit, Notfallwiederherstellung, zur Geschäftskontinuität, da Daten an mehreren redundanten Standorten gespiegelt werden.

Leistungseffizienz
effiziente Nutzung von Computerressourcen, Skalierbarkeit um kurzfristige Anforderungspeaks zu erfüllen, Zukunftsfähigkeit

AWS - Architektur best practices

Für Analyseworkloads bzw. -umgebungen bietet AWS mehrere Kernkomponenten, mit denen areto robuste Architekturen für die Analyseanwendungen der Kunden entwickelt. Anhand von UseCases sowie AWS Architektur-Beispielen gehen wir auf einige AWS Services ein, welche wir oft in unseren individuellen Kundenprojekten verwenden.
 
Das Vorgehen von areto, AWS Architekturen in konzeptionellen „Schichten“ (Layern) aufzubauen, ermöglicht es uns individuell geeignete Zugriffskontrollen, Pipelines, ETL-Flows (Extrahieren, Transformieren, Laden), Integrationen für den Kunden zu gestalten. Im folgenden zeigen wir anhand von AWS Beispielarchitekturen die areto Vorgehensweise beim Aufbau eines Analyse-Workloads mit AWS Services.

Data Ingestion Layer

Die Datenerfassungsschicht ist verantwortlich für die Aufnahme von Daten in den zentralen Speicher für Analysen, z. B. einem Data Lake. Sie besteht aus Services, die dabei helfen, Datensätze im Batch- oder Echtzeit-Streaming-Modus aus externen Quellen zu nutzen, z. B. Website-Clickstreams, Datenbank-Event-Streams, Social-Media-Feeds, lokale oder Cloud-native Datenspeicher. AWS bietet Services für die Erfassung von Echtzeitdaten sowie Funktionen zum sicheren Laden und Analysieren von Streaming-Daten.  Weiterhin bietet AWS Services zum Streamen von Daten in Amazon Simple Storage Service (Amazon S3) zur langfristigen Speicherung. Oder man nutzt Amazon Managed Streaming für Apache Kafka (MSK). Dabei handelt es sich um einen vollständig verwalteten Service, mit dem Anwender hochverfügbare, sichere Apache Kafka-Cluster zur Verarbeitung von Streaming-Daten ausführen können, ohne dass sie ihre bestehende Codebasis ändern müssen.

Mit AWS Database Migration Services (DMS) können Nutzer vorhandene Datenbanken replizieren und aufnehmen, während die Quelldatenbanken voll funktionsfähig bleiben. Der Service unterstützt mehrere Datenbankquellen bzw. -ziele, einschließlich des Schreibens von Daten direkt in Amazon S3.

 

AWS Streaming Data Analytics Reference Architecture areto consulting

Streaming Data Analytics Reference Architecture; Quelle AWS

AWS Identity and Access Management IAM areto consulting
AWS Lake Formation areto

Data Access and Security Layer

Eine „Data Access and Security“-Schicht ermöglicht den Zugriff auf Datenbestände und schützt diese gleichzeitig, um sicherzustellen, dass alle Daten sicher gespeichert werden aber nur berechtigte Personen Zugriff haben. Diese Schicht ermöglicht:

  • Sicheren Datenzugriff auf das zentrale Daten-Repository (d. h. den Data Lake)
  • Sicherer Zugriff auf den zentralen Datenkatalog
  • Feingranulare Zugriffskontrolle auf Datenbanken, Tabellen und Spalten des Datenkatalogs
  • Verschlüsselung von Datenbeständen

Mit AWS Identity and Access Management (IAM) wird der Zugriff auf AWS-Services und -Ressourcen sicher verwaltet. Mit IAM können Sie AWS-Benutzer und -Gruppen erstellen, verwalten und mit Hilfe von Berechtigungen deren Zugriff auf AWS-Ressourcen erlauben bzw. verweigern. 

Mit AWS CloudTrail können Organisationen Kontoaktivitäten im Zusammenhang mit Datenzugriffsaktionen der Benutzer und Rollen in Ihrer AWS-Infrastruktur protokollieren, kontinuierlich überwachen und aufbewahren

AWS Lake Formation ist ein integrierter Data Lake-Service, der es vereinfacht, Daten zu bereinigen, zu katalogisieren, zu transformieren, zu sichern sowie sie für Analysen oder maschinelles Lernen (ML) verfügbar zu machen. Lake Formation bietet ein eigenes Berechtigungsmodell, dass das AWS IAM-Berechtigungsmodell erweitert, um Datenzugriffs- und Sicherheitsrichtlinien für Data Lakes zu konfigurieren und den Zugriff von AWS-Analyse- und ML-Services zu prüfen und zu steuern. Dieses zentral definierte Berechtigungsmodell ermöglicht einen feingranularen Zugriff auf Daten, welche in Data Lakes gespeichert sind, durch einen einfachen Gewährungs/Widerrufsmechanismus.

Data Catalog and Search layer

Der „Catalog and Search Layer“ verwaltet das Auffinden und Katalogisieren der Metadaten der Datenbestände des Analyse-Workloads. Diese Schicht bietet auch Suchfunktionen, wenn die Datenbestände an Größe zunehmen. Szenarien, in denen User eine Tabelle anhand von individuellen definierten Kriterien finden und Teilmengen von Daten extrahieren möchten, sind in Analyseanwendungen recht häufig.

AWS Glue ist ein vollständig verwalteter ETL-Service (Extrahieren, Transformieren, Laden), der oft in Projekten verwendet wird, um Daten für Analysen vorzubereiten bzw. zu laden. Mit AWS Glue können Kunden auf ihre in AWS gespeicherten Daten verweisen. AWS Glue erkennt diese Daten und speichert zugehörige Metadaten (z. B. Tabellendefinition und das Schema) im AWS Glue Data Catalog. Sobald diese Daten katalogisiert sind, sind sie sofort durchsuchbar, abfragbar und für ETL verfügbar.

Mit Amazon Elasticsearch Service können vollständig verwaltete Elasticsearch-Cluster in der AWS Cloud bereitgestellt werden, um Datenbestände zu durchsuchen.

AWS Glue

Streaming Data Analytics Reference Architecture; Quelle AWS

Central Storage Layer

Der „Central Storage Layer“ Data Lake. Er unterstützt die Speicherung aller Arten (unstrukturierten, semi-strukturierten und strukturierten) von Daten und stellt sie Anwendungen zur Verfügung. Da die Datenmenge im Laufe der Zeit wächst, sollte diese Schicht auf sichere, aber kostensparende Weise elastisch skalieren.

Bei der Verarbeitung der Daten werden Zwischenstände gespeichert. Damit vermeidet man unnötige Doppelarbeit in der Verarbeitungspipeline. Außerdem wird es Anwendern ermöglicht diese Zwischenstände zu nutzen. Alle Daten können je nach Anwendungsfall häufig aktualisiert sowie temporär oder langfristig gespeichert werden.

Amazon S3 bietet aufgrund seiner praktisch unbegrenzten Skalierbarkeit, der nativen Verschlüsselung und den Zugriffskontrollfunktionen eine optimale Grundlage für eine zentrale Speicherung. Wenn die Anforderungen der Anwender an ihre Datenspeicherung im Laufe der Zeit steigen, können ausgewälte Daten über Lebenszyklusrichtlinien auf kostengünstigere Ebenen wie S3 Infrequent Access oder Amazon S3 Glacier übertragen werden. So werden  Speicherkosten gesenkt, aber gleichzeitig ursprüngliche Rohdaten erhalten. In unseren Projekten verwenden wir auch S3 Intelligent-Tiering, welches Speicherkosten automatisch optimiert, wenn sich Datenzugriffsmuster ändern. Dies geschieht ohne Auswirkungen auf Leistung oder betrieblichen Aufwand.

1200px Amazon S3 Logo svg

Amazon S3 macht es einfach, eine mandantenfähige Umgebung aufzubauen, in der viele Benutzer ihre eigenen Datenanalyse-Tools auf einen gemeinsamen Datensatz anwenden können. Dies reduziert Kosten, verbessert zusätzlich die Datenverwaltung im Vergleich zu herkömmlichen Lösungen, welche in der Regel mehrere, verteilte Kopien der Daten erfordert. Um einen einfachen Zugriff zu ermöglichen, bietet Amazon S3 RESTful-APIs.

Mit Amazon S3 kann Ihr Data Lake die Speicherung von der Rechenleistung und Datenverarbeitung entkoppeln. In herkömmlichen Hadoop- oder Data Warehouse-Lösungen sind Speicher und Rechenleistung eng miteinander gekoppelt, was eine Reduzierung der Kosten verhindert. Auch eine Optimierung der Datenverarbeitungsabläufe wird erschwert. Mit Amazon S3 kann man alle Datentypen in ihren nativen Formaten speichern und so viele oder so wenige virtuelle Server für die Datenverarbeitung verwenden, wie man möchte. Anwender können auch serverlose Lösungen wie AWS Lambda, Amazon Athena, Amazon Redshift Spectrum, Amazon Rekognition, AWS Glue integrieren, mit denen sie Daten ohne Bereitstellung oder Verwaltung von Servern verarbeiten können.

data analytics mit AWS areto

Im „Processing and Analtics Layer“ finden wir die Services für Abfragen und Verarbeitung (d. h. Bereinigung, Validierung, Umwandlung, Anreicherung, Normalisierung) der Datensätze.

Rechts finden Sie Beispiele für von uns in Standardarchitekturen verwendete Services. Aber es gibt noch eine ganze Reihe weiterer Services, welche ebenfalls für eine Verarbeitung bzw. Analyse verwendet werden können, einschließlich Amazon Kinesis, Amazon RDS, Apache Kafka, AWS Glue.

Processing and Analytics Layer

Amazon Redshift ist ein vollständig verwaltetes Data Warehouse, das eine Analyse der Daten mit Standard-SQL und den vorhandenen Business Intelligence (BI)-Tools vereinfacht. Redshift Spectrum ist eine Funktion von Amazon Redshift, mit der man Abfragen gegen Exabytes an unstrukturierten Daten in Amazon S3 ausführen kann, ohne dass ein Laden oder ETL erforderlich ist.

Amazon Athena ist ein interaktiver Abfrageservice, der eine Analyse von Daten in Amazon S3 mit Standard-SQL erleichtert. Athena ist serverlos, d. h. es muss keine Infrastruktur verwaltet werden, Nutzer zahlen nur für ausgeführte Abfragen. Athena lässt sich in AWS Glue Data Catalog integrieren, sodass Anwender ein einheitliches Metadaten-Repository für verschiedene Services erstellen, Datenquellen crawlen, um Schemas zu erkennen, den Data Catalog mit neuen oder geänderten Tabellen- / Partitionsdefinitionen auffüllen sowie die Schema-Versionierung pflegen können.

Mit Amazon Neptune können Sie eine schnelle, zuverlässige, vollständig verwaltete Graphdatenbank erstellen. Graphdatenbanken erleichtern das Erstellen bzw. Ausführen von Anwendungen, welche mit stark verknüpften Datensätzen arbeiten, erleichtert.

Amazon SageMaker ist eine vollständig verwaltete Plattform für Maschinelles Lernen, mit der Entwickler und Data Scientists schnell und einfach Modelle für Maschinelles Lernen in beliebigem Umfang erstellen, trainieren sowie bereitstellen können.

User Access and Interface Layer

Der „User Access ans Interface Layer“ bietet einen sicheren Benutzerzugriff und eine administrative Schnittstelle für die Verwaltung von Benutzern.

Mit AWS Lambda können Sie serverlose Anwendungen auf einer verwalteten Plattform ausführen, die Microservices-Architekturen, Bereitstellung und Verwaltung der Ausführung auf der Funktionsebene unterstützt.

Mit Amazon API Gateway können Unternehmen eine vollständig verwaltete REST-API ausführen, die mit AWS Lambda integriert wird. Sie umfasst die Verkehrsverwaltung, Autorisierung und Zugriffskontrolle, Überwachung und API-Versionierung. Sie können zum Beispiel eine Data Lake-API mit API Gateway erstellen, die Anforderungen über HTTPS empfängt. Wenn eine API-Anforderung gestellt wird, nutzt Amazon API Gateway einen benutzerdefinierten Autorisierer (eine Lambda-Funktion), um sicherzustellen, dass alle Anforderungen autorisiert sind, bevor die Daten bereitgestellt werden.

Mit Amazon Cognito werden Benutzeranmeldung, Anmeldung und Datensynchronisierung zu serverlosen Anwendungen hinzugefügt. Amazon Cognito-Benutzerpools bieten integrierte Anmeldebildschirme und Verbindung mit Facebook, Google und Amazon unter Verwendung (über SAML).

real time batch AWS lambda

Bildquelle: AWS „Unite Real-Time and Batch Analytics Using the Big Data Lambda Architecture, Without Servers!“

 

Sports Analytics mit AWS

AWS Sports Analytics Lösungen für die Fussball Bundesliga

Die deutsche Fußball-Bundesliga nutzt AWS-Services für künstliche Intelligenz (KI), Machine Learning (ML), Analytics, Datenbankadministration und Speicherung, um Echtzeitstatistiken zur Vorhersage zukünftiger Spiele und Spielergebnisse zu liefern und den Fans personalisiertes Spielmaterial für mobile, Online-, Streaming- und Fernsehübertragungen zu empfehlen.

 

Beat the Bookie – der Blog unseres Kollegen André Doerr

Nach fast 5 Jahren Sportwetten ohne jeglichen Gewinn begann André, einige Artikel über Sportwetten zu lesen. Ihm wurde schnell klar, dass er keine Chance hatte, den Buchmacher zu schlagen, einen Gewinn zu erzielen, ohne eine statistische Analyse durchzuführen.

Als DWH-Architekt sowie zertifizierter Data Vault 2.0 Practitioner hat er ein Konzept für ein Analysesystem entwickelt, das all diese statistischen Aufgaben automatisiert erledigt.

In seinem Blog zeigt er Möglichkeiten, ein solches analytisches System aufzubauen. Er erklärt dabei den technischen Teil, wie man Daten aus dem Web sammelt, modelliert und analysiert. Dabei wirft er einen Blick auf verschiedene Aspekte von Sportwetten. 

Automate your betting models with AWS

How does my typical betting weekend looks like, when I start ckecking, whether there are some interesting matches? I start my laptop, open the browser, start my Python program, start the database and after some minutes, I am able to start my data prcoessing, which collects all the data and calculates the predictions. That’s already great, but wouldn’t it be even better to have all predictions always already up-to-date? This blog will show you how to setup and run a small automated data pipeline in AWS, which extracts all stats from Understat.com. mehr…

Mit den areto Cloud-Experten zur data driven company!

Überholen Sie den Wettbewerb durch schnellere und bessere Entscheidungen!

Finden Sie heraus, wo Ihr Unternehmen aktuell auf dem Weg zur data-driven-company steht.
Wir analysieren den Status Quo und zeigen Ihnen, welche Potenziale vorhanden sind.
Wie wollen Sie starten?

kostenfreie Beratung & Demotermine

Haben Sie schon eine Strategie für Ihre zukünftige Cloud-Lösung? Nutzen Sie bereits die Vorteile moderner Cloud Plattformen und Automatisierungen? Gern zeigen wir Ihnen Beispiele, wie unsere Kunden die agilen und skalierbaren Cloud Computing-Lösungen von areto bereits nutzen.

Workshops / Coachings

Sie erhalten in unseren Cloud Workshops und Coachings das nötige Know-how für den Aufbau einer modernen Cloud-Strategie. Das areto Cloud-TrainingCenter bietet eine breite Auswahl an Lerninhalten.

Proof of Concepts

Welche Cloud-Architektur ist für uns richtig? Sind die Rahmenbedingungen dafür geeignet? Welche Voraussetzungen müssen geschaffen werden? Proof of Concepts (POCs) beantworten, diese und weitere Fragen. So starten Sie bestens vorbereitet in Ihr Projekt.

Wieso AWS ?

2021 CIPS MQ areto AWS Partner

Gartner, Magic Quadrant for Cloud Infrastructure & Platform Services, Raj Bala, Bob Gill, Dennis Smith, Kevin Ji, David Wright, 27 July 2021. Gartner and Magic Quadrant are registered trademarks of Gartner, Inc. and/or its affiliates in the U.S. and internationally and is used herein with permission. All rights reserved. Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner’s research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

gartner mq for cloud ai developers

This graphic was published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the entire document. The Gartner document is available upon request from AWS. Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner’s research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

Hilfe zur Selbsthilfe -
areto Sprechstunden

Buchen Sie sich einen Support-Termin mit einem unserer AWS-Experten!  Schnelle Lösungsansätze und best-practise zu Ihren konkreten Problemstellungen im Umgang mit den marktführenden AWS Services!

Kosten

0,5 Stunden – 110 €
1,0 Stunden – 200 €
2,0 Stunden – 350 €

Amazon Web Services (AWS) Sprechstunde

Die AWS Sprechstunde bietet Ihnen die Möglichkeit, kurzfristig Unterstützung bei kleinen und großen Fragestellungen zu erhalten. Profitieren Sie von der Erfahrung unserer Experten bei der Lösung Ihrer Problemstellung. So können Sie sich schnell wieder Ihrer eigentlichen Arbeit widmen.

AWS Know-how Videothek

Introduction to Amazon S3 (Amazon Simple Storage Service)

Einführung in den AWS Database Migration Service

Introduction AWS Identity and Access Management (IAM)

Introduction to Amazon CloudTrail

Introducion to AWS Lake Formation

Introduction AWS Glue

Introduction to AWS Elasticsearch Service

Introducion to Amazon Neptune

Introduction to Amazon EMR

Introduction to AWS Lambda

Introducion to Amazon Neptune

Changing the Game with Machine Learning

Nutzen Sie Ihre Daten. Entdecken Sie Chancen. Gewinnen Sie neue Erkenntnisse.

till sander areto

Wir freuen uns darauf mit Ihnen zu sprechen!

Till Sander
CTO
Telefon: +49 221 66 95 75-0
E-Mail: till.sander@areto.de