Senior Data Engineer - Google Cloud Platform Berlin (m/w/d) - System Engineering / Admin, Datenbankentwicklung/BI, Ingenieur

Einleitungstext Schwarz Digits schafft das technologische Fundament f r digitale Entscheidungsfreiheit in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen f r die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabh ngiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterst tzen. Unsere Kernleistungen b ndeln wir in den Bereichen Cloud, Cyber Security, Data AI, Communication und Workspace. Trage auch du zur digitalen Entscheidungsfreiheit in Europa bei. Bei uns arbeitest du an der Schnittstelle zwischen Agilit t und Sicherheit: Du profitierst von den schnellen Entscheidungswegen, genie t echte Gestaltungsspielr ume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe.

Deine Aufgaben

Data Product Engineering: Du konzipierst, entwickelst und betreibst hochperformante Batch- und Streaming-Datenfl sse in unserem zentralen Google Cloud Data Lakehouse f r Analytics- und Machine-Learning-Anwendungsf lle. Architektur Skalierung: Du optimierst die Cloud-Architektur (GCP), stellst die Skalierbarkeit unserer L sungen sicher und entwickelst unsere Standards f r die Datenverarbeitung in Echtzeit und Batch weiter. Software Excellence: Du wendest moderne Software-Engineering-Methoden an und setzt neue Ma st be f r CI/CD, automatisiertes Testing und Deployment-Prozesse in der Datenorganisation. Framework-Mitgestaltung: Du unterst tzt die Weiterentwicklung unserer zentralen Orchestrierungs-Tools (auf Basis von Airflow und dbt), um die Effizienz und Qualit t der Datenbereitstellung unternehmensweit zu steigern. Datenqualit t Governance: Du implementierst automatisierte Validierungsprozesse (z. B. f r Streaming-Events) und stellst die Einhaltung von Sicherheits- und Datenschutzstandards sicher. Agile Kollaboration: Du arbeitest in interdisziplin ren Teams eng mit Product Ownern, Data Scientists und Fachbereichen zusammen, um komplexe Business-Anforderungen in technische L sungen zu bersetzen. Dein Profil Erfahrung: Mehrj hrige fundierte Erfahrung im Data Engineering, Big Data Umfeld oder Software Engineering, idealerweise in einer Senior-Rolle. Cloud- Streaming-Expertise: Du bringst fundierte Kenntnisse in Cloud-Infrastrukturen mit (Google Cloud Platform) sowie tiefe Erfahrung in der Verarbeitung von Echtzeitdaten mit Apache Kafka. Tech-Stack: Sehr gute Kenntnisse in Python und Spark. Du bist sicher im Umgang mit Containerisierung (Kubernetes/Docker). Orchestrierung Transformation: Erfahrung mit Tools wie Apache Airflow und Transformationen via dbt ist von gro em Vorteil. Software Best Practices: Du bist sicher im Umgang mit dem Softwareentwicklungszyklus, Versionsverwaltung (Git) sowie DevOps-Prinzipien und automatisierten Tests. Konzeptionelle St rke: Du begeisterst dich f r moderne Architektur-Konzepte wie Data Lakehouses und Data Mesh und hast Freude daran, technologische Standards aktiv mitzugestalten. Pers nlichkeit: Analytisches Denkverm gen, ein agiles Mindset sowie eine eigenverantwortliche und l sungsorientierte Arbeitsweise. Sprachen: Sehr gute Englischkenntnisse; Deutschkenntnisse sind bevorzugt.