Data Engineer - Berlin (m/w/x) - For German Resident Only

Du verfügst über fundierte Kenntnisse in der Python-Entwicklung mit Fokus auf saubere Software-Prinzipien. Scala-Kenntnisse und praktische Erfahrung mit Softwaretests sind ein deutlicher Pluspunkt.Du bringst praktische Erfahrung in der Entwicklung von Batch- und Streaming-ETL-Pipelines mit. Du kennst dich mit Apache Spark, oder ähnlichen Frameworks, zur Ausführung von ETL Jobs, aus.Du bist vertraut im Umgang mit modernen Open-Table Formaten wie Apache Iceberg oder Delta Lake. Du weißt, wie man Schema-Evolution handhabt und Lakehouse Speicherstrukturen pflegt.Du orchestrierst komplexe Workflows souverän mittels Apache Airflow. Du kannst Datenpipelines effektiv aufbauen, planen und überwachen.Du verfügst über praktische Erfahrung mit Apache Kafka für Echtzeit-Messaging und Event-Processing.Du hast Erfahrung mit der Arbeit an containerisierten Anwendungen in Cloud-Umgebungen.

Dies umfasst den praktischen Einsatz von Docker und Kubernetes, vorzugsweise in der Google Cloud Platform (GCP).Du verstehst Mechanismen zur Datensicherheit und Datenkatalogisierung. Du bringst praktische Erfahrung in der Anwendung von Column-Level Security (CLS), Row-Level Security (RLS) sowie Katalog-Tools wie Unity Catalog mit.Du wendest etablierte DevOps- und Software-Engineering-Praktiken in deiner täglichen Arbeit an. Dazu gehören die Nutzung von Git, das Schreiben automatisierter Tests und das Bereitstellen von Code über CI/CD-Pipelines.Du verfügst über verhandlungssichere Englischkenntnisse und arbeitest effektiv in interdisziplinären Teams zusammen.Du verfolgst einen eigenverantwortlichen und detailorientierten Ansatz zur Gewährleistung von Datenverlässlichkeit.

Du agierst erfolgreich in agilen Teamstrukturen und legst stets Wert auf hohe Qualität.Du arbeitest strukturiert und eigenverantwortlich – auch und besonders im Remote-Alltag. EinleitungstextFähigkeiten, Erfahrung, Qualifikationen, Wenn Sie für diese Stelle geeignet sind, dann bewerben Sie sich noch heute. Schwarz Digits schafft das technologische Fundament für digitale Entscheidungsfreiheit in Europa. Als IT- und Digitalsparte der Schwarz Gruppe entwickeln und verantworten wir einerseits die IT-Infrastrukturen für die Handelssparten Lidl und Kaufland sowie die Schwarz Produktion und PreZero. Gleichzeitig agieren wir als unabhängiger Anbieter am externen Markt, um Unternehmen in ganz Europa bei ihrer digitalen Transformation zu unterstützen.

Unsere Kernleistungen bündeln wir in den Bereichen Cloud, Cyber Security, Data & AI, Communication und Workspace. xfmxmju Trage auch du zur digitalen Entscheidungsfreiheit in Europa bei. Bei uns arbeitest du an der Schnittstelle zwischen Agilität und Sicherheit: Du profitierst von den schnellen Entscheidungswegen, genießt echte Gestaltungsspielräume in deinen Projekten und baust dabei auf das stabile Fundament der Schwarz Gruppe.

Deine Aufgaben

• Develop and operate productive ETL pipelines for reports, analysis and machine learning and ensure their quality and sustainabilityUse your software development skills and set new standards for development and deploymentOptimize the performance of data engineering solutions and guarantee their scalabilityEnsure data quality and consistency through data validation and cleansingMonitor and fix errors in the data infrastructure to minimize downtimeImplement data security and privacy measuresWork in interdisciplinary agile teams with data scientists, data engineers, product owners and departments