Das ist der Job
Dein Aufgabengebiet Entwicklung, Aufbau und Betrieb skalierbarer Datenpipelines (ETL/ELT) für Batch- und Streaming-Daten End-to-End-Umsetzung von Datenprodukten: Ingestion, Transformation, Testing, Deployment und Monitoring Verarbeitung und Modellierung von Daten in Cloud-Umgebungen (Azure / AWS) Implementierung und Optimierung von Streaming-Lösungen (Kafka / Event Hubs) Sicherstellung von Datenqualität, Performance, Skalierbarkeit und DSGVO-konformer Anonymisierung Orchestrierung von Workflows mit Airflow sowie CI/CD-Integration Verantwortung im produktiven Betrieb inkl.
Das brauchst du
Monitoring und Troubleshooting Zusammenarbeit mit Business- und IT-Stakeholdern in einem agilen DevOps-Umfeld Dein Profil Abgeschlossenes Studium in Informatik, Mathematik oder vergleichbare Qualifikation Mehrjährige Erfahrung im Data Engineering mit Cloud-Fokus Sehr gute SQL-Kenntnisse sowie Erfahrung mit relationalen Datenbanken und Data Warehousing Fundierte Praxis mit Spark (Scala) und Delta Lake Erfahrung mit Kafka / Event Hubs (Streaming) und Airflow (Orchestrierung) Kenntnisse in Azure (z.
Darum lohnt es sich
ADLS, Fabric) und/oder AWS (z. S3, EMR, Lambda) Erfahrung in der Bereitstellung von Datenmodellen/Datasets für Power BI Erfahrung im SCRUM-/DevOps-Umfeld sowie mit CI/CD (z. GitLab) Sehr gute Deutsch- und En
