Data Engineer Databricks / Lakehouse (w/m/d)

Das ist der Job

Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.

Das brauchst du

Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar) Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering Sehr gute Python-Kenntnisse (insb.

PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse Analytische, strukturierte und lösungsorientierte Arbeitsweise Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming Kenntnisse in Orchestrierungstools (z.

Darum lohnt es sich

Stellenbeschreibung In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z.

PySpark) in Databricks Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks) Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit Nutzung moderner Databricks-Funktionalitäten (z.

Delta Lake, Structured Streaming) Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance Profilbeschreibung Abgeschlossenes Studium (z.

Airflow, Databricks Workflows) Verständnis von Data Governance, Compliance sowie Metadatenmanagement Wir bieten Attraktives Gehalt Starke Gemeinschaft aus Teamplayern Vertrauensarbeitszeit mit flexibler Einteilung und der Möglichkeit, bis zu 40% mobil zu arbeiten Zahlreiche Weiterbildungsmöglichkeiten on- und offline Rabatte auf 1&1 Produkte und für diverse Freizeitangebote Betriebseigenes Restaurant Kostenlose Getränke und frisches Obst Jobrad-Zuschuss #J-18808-Ljbffr