Kursbeschreibung

Big Data Engineers werden zur interdisziplinären Analyse und Konzeption von IT- und Datenbanklösungen eingesetzt. Daher führt der Lehrgang zunächst in die Grundlagen von Business Intelligence ein, beschreibt die Anforderung des Data Engineerings und erläutert Data Warehouse Modellierung und ETL. Abschließend wird dir Big Data anhand branchenspezifischer Software, die zum Speichern, Verarbeiten und Berechnen von großen Datenmengen dient, nähergebracht. Ergänzend erfährst du, wie Künstliche Intelligenz für diese Bereiche angewendet wird.

Data Engineer

Grundlagen Business Intelligence (ca. 2 Tage)
Anwendungsfelder, Dimensionen einer BI Architektur
Grundlagen Business Intelligence, OLAP, OLTP, Aufgaben der Data Engineers
Data Warehousing (DWH): Umgang und Verarbeitung von strukturierten, semi-strukturierten und unstrukturierten Daten

Anforderungsmanagement (ca. 2 Tage)
Aufgaben, Ziele und Vorgehensweise in der Anforderungsanalyse
Datenmodellierung, Einführung/Modellierung mit ERM
Einführung/Modellierung in der UML
· Klassendiagramme
· Use-Case Analyse
· Aktivitätsdiagramme

Künstliche Intelligenz (KI) im Arbeitsprozess
Vorstellung von konkreten KI‐Technologien
sowie Anwendungsmöglichkeiten im beruflichen Umfeld

Datenbanken (ca. 3 Tage)
Grundlagen von Datenbanksystemen
Architektur von Datenbankmanagementsystemen
Anwendung RDBMS
Umsetzung Datenmodell in RDBMS, Normalformen
Praktische und theoretische Einführung in SQL
Grenzen von Relationalen Datenbanken, csv, json

Data Warehouse (ca. 4 Tage)
Star Schema
Datenmodellierung
Erstellung Star Schema in RDBMS
Snowflake Schema, Grundlagen, Datenmodellierung
Erstellung Snowflake Schema in RDBMS
Galaxy Schema: Grundlagen, Datenmodellierung
Slowly Changing Dimension Tables Typ 1 bis 5 – Restating, Stacking, Reorganizing, mini Dimension und Typ 5
Einführung in normal, causal, mini und monster, heterogeneous und sub Dimensions
Vergleich von state und transaction oriented
Faktentabellen, Density und Storage vom DWH

ETL (ca. 4 Tage)
Data Cleansing
· Null Values
· Aufbereitung von Daten
· Harmonisierung von Daten
· Anwendung von Regular Expressions
Data Understanding
· Datenvalidierung
· Statistische Datenanalyse
Datenschutz, Datensicherheit
Praktischer Aufbau von ETL-Strecken
Data Vault 2.0, Grundlagen, Hubs, Links, Satellites, Hash Key, Hash Diff.
Data Vault Datenmodellierung
Praktischer Aufbau eines Data Vault Modells – Raw Vault, praktische Umsetzung von Hash-Verfahren

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse



Big Data Specialist

Was ist Big Data? (ca. 1 Tag) 
Volume, Velocity, Variety, Value, Veracity
Chancen und Risiken großer Datenmengen
Abgrenzung: Business Intelligence, Data Analytics, Data Science
Einführung in Data Mining
Rolle von KI und datengetriebenen Systemen im Big-Data-Umfeld

Einführung in Big-Data-Frameworks (ca. 2 Tage)
Big-Data-Lösungen in der Cloud (Überblick AWS, Azure, GCP)
Datenzugriffsmuster
Datenspeicherung
Einführung in Data Lakes und Data Warehouses
Überblick Apache Hadoop und Spark

Verteilte Datenverarbeitung mit Spark (ca. 3 Tage)
Grundlagen verteilter Systeme
Apache Spark (Core und SQL)
Vergleich verschiedener Ansätze der Datenverarbeitung
Verarbeitung großer Datenmengen
Einführung in einfache ML-Workflows mit Spark

Datenpipelines und Datenintegration (ca. 2 Tage)
ETL- und ELT-Prozesse
Batch- vs. Streaming-Verarbeitung
Grundlagen von Datenpipelines
Einführung in Orchestrierung (z. B. Airflow Überblick)
Datenqualität und -aufbereitung

Komponenten (ca. 2 Tage)
Kurzvorstellung von verschiedenen Tools
Datenübertragung
Überblick Ressourcenverwaltung in Big-Data-Systemen
Hadoop-Ökosystem
Apache Spark Vertiefung
Einführung in Streaming-Technologien

NoSQL und Datenspeicher (ca. 2 Tage)
CAP-Theorem
ACID und BASE
Typen von Datenbanken
HBase
Einführung dokumentenorientierter Datenbanken
Einführung in Speicherformate
Überblick Data Lakehouse-Ansätze

Big Data Visualisierung (ca. 2 Tage)
Theorien der Visualisierung
Diagrammauswahl
Neue Diagrammarten
Werkzeuge zur Datenvisualisierung
Einführung in BI-Tools (z. B. Power BI, Tableau)
Grundlagen datengetriebener Entscheidungsfindung

Data Governance und Datenschutz (ca. 1 Tag)
Grundlagen der DSGVO im Datenkontext
Datenethik und verantwortungsvoller Umgang mit Daten
Datenqualität und Governance-Konzepte
Zugriffskontrollen und Sicherheit
Grundlagen verantwortungsvoller KI-Nutzung

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse



Änderungen möglich, die Lehrgangsinhalte werden regelmäßig aktualisiert.