Das ist der Job
## Das sind deine Aufgaben - Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.) zur effizienten Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks. - Du bindest verschiedene interne (z.
Das brauchst du
APIs, Web-Crawler) an. - Du stellst die technisch-operative Datenqualität und -konsistenz sicher, in dem du geeignete Validierungs- und Bereinigungsprozesse realisierst. - Du überwachst laufende Datenpipelines und Prozessen und behebst eventuelle Fehler im laufenden Betrieb. - Du arbeitest eng mit unseren Data Scientists, Data Analysts, Data Engineers und BI-Entwicklern zusammen, um die notwendigen Daten schnell, sicher und effizient bereitzustellen. - Du dokumentierst deine Arbeitsergebnisse strukturiert und adressatengerecht. ## Das bringst du mit - Du hast ein abgeschlossenes Studium in Informatik, Data Engineering, Naturwissenschaften oder vergleichbarer Fachrichtung und erste Berufserfahrung im Bereich Data Engineering gesammelt. - Du hast Kenntnisse in der Entwicklung und Optimierung von Datenpipelines (ETL, ELT) idealerweise mit Spark und databricks. - Du hast Erfahrung in Python, SQL, Spark etc. mit klarem Fokus auf Data Engineering. - Du bringst ein gutes Grundverständnis für die Anbindung von Datenbanken, APIs etc. an eine Daten Plattform mit. - Die Umsetzung und Einhaltung hoher Datenschutz- und Sicherheitsanforderungen in einem regulier
Darum lohnt es sich
Datenbanken, APIs) und externe Datenquellen (u. a.
