Data Engineer

Das ist der Job

Deine Aufgaben Aufbau und Pflege von ETL-/ELT-Pipelines in Python (insbesondere mit pandas und PySpark ) Entwicklung und Optimierung von Streaming-Lösungen auf Basis von Kafka Nutzung von Apache NiFi zur Datenintegration und Automatisierung von Workflows Implementierung von Data Quality Checks und Monitoring Datenmodellierung (relational, zeitbasiert, graphorientiert) und Arbeit mit Data Lakes bzw.

Das brauchst du

Data Warehouses Zusammenarbeit mit Analysten, Data Scientists und Entwicklern, um skalierbare Datenlösungen bereitzustellen Optional: Einsatz von Apache Hudi , Ozone oder ähnlichen Tools zur Versionierung und Nachvollziehbarkeit Dokumentation, Testing und kontinuierliche Verbesserung bestehender Prozesse Dein Profil Mindestens 3 Jahre Erfahrung als Data Engineer (ein duales Studium wird mitgezählt) Exzellente Kenntnisse in Python , pandas und SQL Erfahrung mit Datenintegrationstools (z.

Apache NiFi, Airbyte oder Fivetran) Erste Berührung mit Data Warehouses oder Data Lakes Erfahrung mit Streaming-Technologien (Kafka, PySpark, o. ä.) Docker und Kubernetes sind kein Muss, aber ein Plus Verständnis für Graphdatenbanken ist wünschenswert Abgeschlossenes Studium in einem technischen Bereich (nicht zwingend Informatik) Du bist lösungsorientiert, arbeitest selbstständig und bringst Begeisterung für neue Technologien mit Startup-Mentalität und Hands-on-Mentalität sind genau Dein Ding Rahmenbedingungen Remote-first mit gelegentlichen Team-Meetings in Berlin Flexible Arbeitszeiten Flache Hierarchien und direkter Austausch mit erfahrenen Engineers Möglichkeit, mit neuesten Technologien (Apache, Kafka, Hudi, PySpark etc.) zu arbeiten Haben wir dein Interesse geweckt?

Darum lohnt es sich

Standort: Remote in Deutschland Anstellung: Vollzeit (40 Std./Woche) Erfahrung: ab 3 Jahren Berufserfahrung Gehalt: 70.000–120.000 € (je nach Erfahrung und Level) Über die Rolle In dieser Rolle gestaltest Du die technische Basis, auf der moderne Datenprodukte entstehen.

Du arbeitest an der Entwicklung und Optimierung von Datenpipelines, die Daten aus verschiedenen Quellen effizient, sicher und nachvollziehbar in ein Data Lakehouse überführen. Dein Beitrag legt das Fundament für alle weiteren Teams, von Analytics bis Machine Learning. Dann melde dich doch gern direkt bei mir: #J-18808-Ljbffr