In dieser Data-Engineering-Schulung lernst du, Datenpipelines zu entwerfen, Daten für Analysen zu modellieren und den Betrieb zuverlässig zu gestalten. Sie richtet sich an Entwickler, Datenanalysten mit Technikaffinität und Plattformteams, die Daten aus mehreren Quellen in ein Warehouse oder einen Lake bringen. Du arbeitest mit Orchestrierung in Apache Airflow, Verarbeitung mit Spark, SQL-Transformationen mit dbt sowie Tests, Monitoring und Wiederholbarkeit. Kenntnisse in SQL und Python solltest du mitbringen.
Das nimmst du mit.
- Batch- und Streaming-Szenarien unterscheiden und die passende Pipeline-Architektur wählen
- Workflows als DAGs in Apache Airflow mit Abhängigkeiten, Zeitplänen und Wiederholungen definieren
- Datenmodelle mit Fakten- und Dimensionstabellen sowie Staging-Schichten entwerfen
- Transformationen mit dbt und Spark umsetzen und mit automatisierten Tests absichern
- Pipelines mit Idempotenz, Alarmierung und Datenqualitätsprüfungen zuverlässig betreiben
Dein Training im Detail
- Für wen?
- Entwickler, Datenanalysten mit Programmiererfahrung, BI-Entwickler und Plattformteams, die Datenflüsse produktiv betreiben.
- Was bringst du mit?
- Sicheres SQL und Grundkenntnisse in Python sowie der Kommandozeile. Erfahrung mit Git ist hilfreich.
- Umfang & Planung
- Planungsvorschlag: 3 bis 4 Tage live online oder im Unternehmen. Umfang nach Vorkenntnissen.
Agenda: vom Verständnis zur Anwendung
Unser eigenständig entwickelter Agenda-Vorschlag. Schwerpunkte, Übungsumgebung und Umfang stimmen wir vor einer Buchung ab.
Architektur: ETL und ELT, Data Warehouse, Data Lake und Lakehouse, Batch gegenüber Streaming und das Zusammenspiel der Schichten.
Orchestrierung mit Apache Airflow: DAGs, Tasks, Operatoren, Zeitpläne, Backfills, Retries sowie Variablen und Connections.
Datenmodellierung: Sternschema, Slowly Changing Dimensions, Staging, Kernschicht und Datenmarts sowie Namenskonventionen.
Verarbeitung mit Apache Spark: DataFrames, Partitionierung, Joins großer Tabellen, Parquet als Format und Spark SQL.
Transformation mit dbt: Modelle, ref-Funktion, inkrementelle Modelle, Tests, Dokumentation und Lineage.
Betrieb: Idempotente Läufe, Datenqualitätstests, Monitoring, Alarmierung, CI für Pipelines und Umgang mit Schemaänderungen.
Eigener Übungsvorschlag: Du baust eine Pipeline, die täglich Bestelldaten einliest, mit dbt in ein Sternschema überführt und bei fehlgeschlagenen Qualitätstests eine Meldung auslöst.
Prüfung, Lizenzen & Nachweise
Der Kurs ist herstellerneutral und bereitet auf keine bestimmte Prüfung vor. Cloud-Anbieter und Plattformhersteller bieten eigene Data-Engineering-Zertifizierungen an. Gebühren sind nur enthalten, wenn das im Angebot bestätigt wird. Die Teilnahme allein vergibt kein Zertifikat.
Herstellerquellen & fachlicher Stand
Quellen geprüft am 2026-11-03. Die Quellen beschreiben die Technologie bzw. externe Prüfungsanforderungen. Sie belegen keine Partnerschaft mit NextNowa.
Dein Lerninhalt
Die genannten Inhalte beschreiben das gewünschte Schulungsthema. Konkreten Lehrplan, Dauer, Termine, Trainer und Preis stimmen wir vor einer Buchung ab.
Häufige Fragen
Welche Vorkenntnisse brauche ich für Data Engineering?
Du solltest SQL sicher beherrschen und Python lesen und schreiben können. Dazu kommen Grundlagen der Kommandozeile und von Git. Kenntnisse in Cloud-Diensten sind nützlich, aber nicht nötig, weil die Übungen auch lokal laufen. Wer SQL erst lernt, startet besser mit dem SQL-Kurs.
Was ist der Unterschied zwischen ETL und ELT?
Bei ETL werden Daten vor dem Laden außerhalb des Ziels transformiert. Bei ELT laden Pipelines die Rohdaten zuerst ins Warehouse und transformieren sie dort mit SQL, etwa mit dbt. ELT ist bei modernen Cloud-Warehouses üblich, weil Rechenleistung skalierbar ist und Rohdaten nachvollziehbar bleiben.
Airflow oder dbt: Was brauche ich?
Beide lösen verschiedene Aufgaben. Airflow orchestriert Abläufe: es startet Tasks in der richtigen Reihenfolge, wiederholt Fehlschläge und plant Läufe. dbt transformiert Daten im Warehouse mit SQL-Modellen und Tests. In vielen Projekten arbeiten sie zusammen, wobei Airflow dbt-Läufe anstößt.
Erhalte ich bei Data Engineering ein Zertifikat?
Der Kurs ist herstellerneutral und bereitet auf keine bestimmte Prüfung vor. Cloud-Anbieter und Plattformhersteller bieten eigene Data-Engineering-Zertifizierungen an. Gebühren sind nur enthalten, wenn das im Angebot bestätigt wird. Die Teilnahme allein vergibt kein Zertifikat.