Kursbeschreibung

Der Kurs vermittelt die Grundlagen von Big Data und zeigt, wie moderne Technologien und Frameworks zur Speicherung, Verarbeitung und Auswertung großer Datenmengen eingesetzt werden. Die Teilnehmenden lernen Cloud-basierte Big-Data-Lösungen, Apache Spark, Datenpipelines, Data Lakes sowie NoSQL-Datenbanken kennen. Darüber hinaus werden Methoden der Datenvisualisierung, Grundlagen der Künstlichen Intelligenz sowie wichtige Aspekte der Data Governance, des Datenschutzes und der Datenethik behandelt.

Big Data Specialist

Was ist Big Data? (ca. 1 Tag) 
Volume, Velocity, Variety, Value, Veracity
Chancen und Risiken großer Datenmengen
Abgrenzung: Business Intelligence, Data Analytics, Data Science
Einführung in Data Mining
Rolle von KI und datengetriebenen Systemen im Big-Data-Umfeld

Einführung in Big-Data-Frameworks (ca. 2 Tage)
Big-Data-Lösungen in der Cloud (Überblick AWS, Azure, GCP)
Datenzugriffsmuster
Datenspeicherung
Einführung in Data Lakes und Data Warehouses
Überblick Apache Hadoop und Spark

Verteilte Datenverarbeitung mit Spark (ca. 3 Tage)
Grundlagen verteilter Systeme
Apache Spark (Core und SQL)
Vergleich verschiedener Ansätze der Datenverarbeitung
Verarbeitung großer Datenmengen
Einführung in einfache ML-Workflows mit Spark

Datenpipelines und Datenintegration (ca. 2 Tage)
ETL- und ELT-Prozesse
Batch- vs. Streaming-Verarbeitung
Grundlagen von Datenpipelines
Einführung in Orchestrierung (z. B. Airflow Überblick)
Datenqualität und -aufbereitung

Komponenten (ca. 2 Tage)
Kurzvorstellung von verschiedenen Tools
Datenübertragung
Überblick Ressourcenverwaltung in Big-Data-Systemen
Hadoop-Ökosystem
Apache Spark Vertiefung
Einführung in Streaming-Technologien

NoSQL und Datenspeicher (ca. 2 Tage)
CAP-Theorem
ACID und BASE
Typen von Datenbanken
HBase
Einführung dokumentenorientierter Datenbanken
Einführung in Speicherformate
Überblick Data Lakehouse-Ansätze

Big Data Visualisierung (ca. 2 Tage)
Theorien der Visualisierung
Diagrammauswahl
Neue Diagrammarten
Werkzeuge zur Datenvisualisierung
Einführung in BI-Tools (z. B. Power BI, Tableau)
Grundlagen datengetriebener Entscheidungsfindung

Data Governance und Datenschutz (ca. 1 Tag)
Grundlagen der DSGVO im Datenkontext
Datenethik und verantwortungsvoller Umgang mit Daten
Datenqualität und Governance-Konzepte
Zugriffskontrollen und Sicherheit
Grundlagen verantwortungsvoller KI-Nutzung

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse



Änderungen möglich, die Lehrgangsinhalte werden regelmäßig aktualisiert.