Data Engineer (m/w/d)

Dein Aufgabengebiet

• Entwicklung, Aufbau und Betrieb skalierbarer Datenpipelines (ETL/ELT) für Batch- und Streaming-Daten

• End-to-End-Umsetzung von Datenprodukten: Ingestion, Transformation, Testing, Deployment und Monitoring

• Verarbeitung und Modellierung von Daten in Cloud-Umgebungen (Azure / AWS)

• Implementierung und Optimierung von Streaming-Lösungen (Kafka / Event Hubs)

• Sicherstellung von Datenqualität, Performance, Skalierbarkeit und DSGVO-konformer Anonymisierung

• Orchestrierung von Workflows mit Airflow sowie CI/CD-Integration

• Verantwortung im produktiven Betrieb inkl. Monitoring und Troubleshooting

• Zusammenarbeit mit Business- und IT-Stakeholdern in einem agilen DevOps-Umfeld

Dein Profil

• Abgeschlossenes Studium in Informatik, Mathematik oder vergleichbare Qualifikation

• Mehrjährige Erfahrung im Data Engineering mit Cloud-Fokus

• Sehr gute SQL-Kenntnisse sowie Erfahrung mit relationalen Datenbanken und Data Warehousing

• Fundierte Praxis mit Spark (Scala) und Delta Lake

• Erfahrung mit Kafka / Event Hubs (Streaming) und Airflow (Orchestrierung)

• Kenntnisse in Azure (z. B. ADLS, Fabric) und/oder AWS (z. B. S3, EMR, Lambda)

• Erfahrung in der Bereitstellung von Datenmodellen/Datasets für Power BI

• Erfahrung im SCRUM-/DevOps-Umfeld sowie mit CI/CD (z. B. GitLab)

• Sehr gute Deutsch- und Englischkenntnisse in Wort und Schrift