Die Weiterbildung zum „Big Data Engineer“ besteht aus 4 Modulen, deren Reihenfolge variieren kann.

Modul 1: Microsoft Azure Grundlagen

Cloud-Konzepte (ca. 1 Tag)
Warum Cloud Services?
Infrastruktur-as-a-Service (IaaS), Platform-as-a-Service (PaaS) und Software-as-a-Service (SaaS)
Öffentliche, private und hybride Cloud-Modelle

Core Azure Dienste (ca. 3 Tage)
Grundlagen der mit Microsoft Azure verfügbaren Basisdienste
Kernbestandteile der Azure-Architektur
Kernprodukte von Azure
Azure-Lösungen
Azure Management Tools

Sicherheit, Datenschutz, Compliance und Vertrauen (ca. 2 Tage)
Sicherstellung der Netzwerkkonnektivität in Azure
Identity Sicherheitswerkzeuge und -funktionen
Azure Governance-Methoden
Überwachung und Berichterstattung in Azure
Datenschutz- und Compliancestandards in Azure

Azure-Preisgestaltung und Support (ca. 1 Tag)
Microsoft Preis- und Supportmodelle
Azure Abonnements
Kostenplanung und -management
Mit Azure verfügbare Support-Optionen
Service-lifecycle in Azure

Projektarbeit, Zertifizierungsvorbereitung und Zertifizierungsprüfung (ca. 2 Tage)
Microsoft Azure Fundamentals AZ-900 (in englischer Sprache)

Modul 2: Programmierung mit Python

Grundlagen Python (ca. 1 Tag)
Geschichte, Konzepte
Verwendung und Einsatzgebiete
Syntax

Erste Schritte mit Python (ca. 5 Tage)
Zahlen
Zeichenketten
Datum und Zeit
Standardeingabe und -ausgabe
list, tuple dict, set
Verzweigungen und Schleifen (if, for, while)

Funktionen (ca. 5 Tage)
Eigene Funktionen definieren
Variablen
Parameter, Rekursion
Funktionale Programmierung

Fehlerbehebung (ca. 0,5 Tage)
try, except
Programmunterbrechungen abfangen

Objektorientierte Programmierung (ca. 4,5 Tage)
Python-Klassen
Methoden
Unveränderliche Objekte
Datenklasse
Vererbung

Grafische Benutzeroberfläche (ca. 1 Tag)
Buttons und Textfelder
grid-Layout
Dateiauswahl

Projektarbeit (ca. 3 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Modul 3: Big Data Analytics

Kurzeinführung Big Data (ca. 1 Tag)
Was ist Big Data?

Grundlagen in Python (ca. 4 Tage)
Einführung und grundlegende Funktionen
Datentypen
Zentrale Python-Module im Kontext Big Data Analytics

Big Data Architekturen (ca. 5 Tage)
Big Data Architekturen
Relationale Datenbanken
Grundlagen SQL
Vergleich von SQL und NoSQL Datenbanken

Datenanalyse, Statistik und Data Mining (ca. 5 Tage)
Explorative Datenanalyse mit Python
Daten visualisieren in Python
Statistische Grundlagen
Data Mining Use Cases
Data Mining Algorithmen in Python

Big Data: Datenverarbeiten und Speichern (ca. 2 Tage)
Der MapReduce-Ansatz
Grundlagen des Cloud Computings

Projektarbeit (ca. 3 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Modul 4: Data Engineer

Grundlagen Business Intelligence (ca. 3 Tage)
CRISP-DM Referenzmodell
Umgang mit Big Data - Volume, Variety, Velocity, Validity, Value
Abgrenzungen und Aufgaben vom Data Engineer im Kontext zu den andern BI-Berufen
Umgang und Verarbeitung von strukturierten, semi-strukturierten und unstrukturierten Daten im DWH
OLAP
OLTP

Anforderung von Daten (ca. 2 Tage)

Aufgaben, Ziele und Vorgehensweise in der Anforderungsanalyse
Einführung/Modellierung in der UML
·         Use-Case Analyse
·         Klassendiagramme
·         Aktivitätsdiagramme
·         Modellierung mit ERM

Datenbanken (ca. 2 Tage)

Grundlagen von Datenbanksystemen
ANSI/SPARC Referenzmodell
Normalformen
Architektur von Datenbankmanagementsystemen
Praktische und theoretische Einführung in SQL
·         DDL
·         DML
·         DSDL

Data Warehouse Modellierung (ca. 4 Tage)

Star Schema
Snowflake Schema
Galaxy Schema
Data Vault 2.0 - Hubs, Satelites, Links im Raw- und Business Vault, Hash Key, Hash Diff
Slowly Changing Dimension Tables Typ 1 bis 5 - Restating, Stacking, Reorganizing, mini dimension und Typ 5
Einführung in normal, causal, mini und monster, heterogeneous und subdimensions
Vergleich von state und transaction oriented Faktentabellen
Density und Storage vom DWH

ETL (ca. 6 Tage)

Data Cleansing
·         Null Values
·         Aufbereitung von Daten
·         Harmonisierung von Daten
·         Anwendung von Regular Expressions
Data Understanding
·         Datenvalidierung
·         Statistische Datenanalyse
Praktischer Aufbau von ETL-Strecken
Praktischer Aufbau eines Data Vault Modells - Business und Raw Vault
Praktische Umsetzung von Hash-Verfahren
Verwendung von verschiedenen Datenbankensqlite, postgressql, json, csv

Projektarbeit (ca. 3 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse