Das ist der Job
Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.
Darum lohnt es sich
Stellenbeschreibung
In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z.
PySpark) in Databricks Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks) Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit Nutzung moderner Databricks-Funktionalitäten (z.
Delta Lake, Structured Streaming) Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance Profilbeschr
