Data Engineers sind am Aufbau und an der Optimierung moderner Datenstrukturen und -prozesse in Unternehmen beteiligt. Sie führen Daten aus unterschiedlichen Quellen zusammen, bereiten diese auf und stellen sie für Analysen und weitere Anwendungen bereit. Der Lehrgang vermittelt daher Kenntnisse in modernen und cloudbasierten Datenarchitekturen, Datenmodellierung und Datenintegration sowie in der Entwicklung und Automatisierung von Data Pipelines.

Data Engineer

Grundlagen Data Engineering und Datenarchitekturen (ca. 2 Tage)
Aufgaben und Anwendungsfelder im Data Engineering 
Grundlagen moderner Datenarchitekturen und Datenplattformen 
Grundlagen und Vergleich cloudbasierter DatenarchitekturenOLTP und OLAP 
Verarbeitung strukturierter, semistrukturierter und unstrukturierter Daten

Anforderungsmanagement und Datenmodellierung (ca. 1 Tag)
Anforderungen an Daten und Datenquellen 
Konzeptionelle Datenmodellierung 
Modellierung von Datenstrukturen und Datenflüssen
Data Contracts, Data Governance und Data Lineage

Datenbanken und Datenverarbeitung (ca. 1 Tag)
Architektur von Datenbanksystemen 
SQL vs. NoSQL vs. NewSQL im VergleichRelationale Datenmodellierung 
SQL zur Abfrage und Verarbeitung von Daten

Data Warehousing und moderne Datenarchitekturen (ca. 2 Tage)
Grundlagen und Architektur von Data-Warehouse-Systemen 
Dimensionale Datenmodellierung und Schema-Design 
Fakten, Dimensionen und historische Datenhaltung 
Data Warehouse, Data Lake und Lakehouse im Vergleich 
Einführung in dbtPraxisorientierte Umsetzung von Datenmodellen

Datenintegration und Data Pipelines (ca. 5 Tage)
Datenintegration und Datenbereitstellung 
ETL- und ELT-Prozesse 
Aufbau und Orchestrierung von Data Pipelines 
Datenbereinigung, -validierung und Datenqualität 
Batch- und Streaming-VerarbeitungPraxisorientierter Einsatz von Airflow und Spark

Programmierung und automatisierte Datenverarbeitung (ca. 4 Tage)
Python-Umgebungen und PaketverwaltungVerarbeitung und Transformation von Daten mit Python 
Automatisierung von Datenverarbeitungsprozessen 
Anbindung unterschiedlicher Datenquellen und SchnittstellenEntwicklung von Data-Engineering-Workflows 
Containerisierung mit DockerKI-gestützte Unterstützung im Entwicklungs- und Datenverarbeitungsprozess

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse



Änderungen möglich, die Lehrgangsinhalte werden regelmäßig aktualisiert.