Senior Data Engineer

Senior Data Engineer (GN*)

Verantwortlichkeiten

• Hybride Daten-Plattform & Architektur: Du verantwortest die Konzeption und Implementierung einer hybriden Datenplattform, die die Flexibilität von Lakehouse-Strukturen mit der Performance und Struktur eines klassischen Data Warehousing (Serving Layer) vereint.

• Data-Ingestion & Pipelines: Du baust und betreibst zuverlässige Pipelines für umfangreiche Datenmengen (z. B. Sensor- oder Erdbeobachtungsdaten) in Batch- und Streaming-Szenarien.

• Plattform-Evolution: Du treibst unsere Datenplattform voran, indem Du neue Trends im Bereich Data & AI (z. B. Vector-Datenbanken & RAG-Infrastruktur) evaluierst und Tools für effizientes Datenmanagement sowie CI/CD-Prozesse entwickelst.

• Governance, Observability & FinOps: Du etablierst strenge Data-Governance-Standards, implementierst Data Lineage sowie Data Contracts zur Schnittstellensicherung, wendest FinOps-Prinzipien zur Kostenoptimierung an und stellst die Datenqualität sicher.

• Performance-Optimierung: Du optimierst die Verarbeitungsleistung durch effiziente Partitionierungsstrategien und gestaltest Datenlayouts, die Compute-Workloads nah an der Speicherebene erlauben.

• Enablement & Beratung: Du fungierst als Sparringspartner für Data Scientists und Ingenieure, vermittelst Best Practices und stellst Blueprint-Architekturen für die gesamte Organisation bereit.

Qualifikationen

Expertenkenntnisse

• Distributed Computing: Tiefe Erfahrung mit dem Spark-Ökosystem (z. B. Databricks, EMR oder vergleichbare Frameworks) sowie fundiertes Wissen in der Konzeption moderner Data-Lake- oder Lakehouse-Architekturen.

• Pipeline-Engineering: Fundiertes Wissen im Aufbau komplexer Ingestion-Workflows und in der Verwaltung von Daten-Transformations-Pipelines.

• Programmierung: Exzellente Kenntnisse in Python (oder Go) sowie sicherem Umgang mit SQL- und NoSQL-Datenbanken.

• Cloud & Infrastruktur: Routine in Cloud-Plattformen (Azure oder AWS) sowie Infrastructure as Code (Terraform).

• Datenmodellierung & DWH: Fundierte Erfahrung in der dimensionalen Modellierung (Star/Snowflake Schema) sowie im Design von hochperformanten Serving Layern für BI- und Analytics-Anwendungen.

Sehr gute Kenntnisse

• Data Management: Praktische Erfahrung mit Datenversionierung, Lineage-Tracking und Schema-Validierung.

• DevOps für Data: Sicherer Umgang mit Docker, Kubernetes und CI/CD-Tools (z. B. GitHub Actions).

• Security & Networking: Verständnis von Authentifizierung, Verschlüsselung und sicheren Datenverarbeitungspraktiken.

• Agile Methodiken und Erfahrung in der Zusammenarbeit mit funktionsübergreifenden Analytics-Teams.

• Data Contracts & KI-Daten: Erfahrung in der Gestaltung stabiler Datenschnittstellen sowie Grundverständnis für den Betrieb von Vektordatenbanken und RAG-Pipelines.

Persönlich

• Ownership: Du übernimmst die volle Verantwortung für die Stabilität, Skalierbarkeit und operative Leistung der Datenplattform.

• Analytische Exzellenz: Du hast eine strukturierte Herangehensweise an komplexe Herausforderungen wie Partitionierung und Tiling-Strategien.

• Kommunikationsstärke: Du kannst Blueprint-Architekturen klar vermitteln und Kollegen fachlich anleiten.

• Fließende Deutsch- und Englischkenntnisse sowie ein abgeschlossenes Studium (M.Sc.) in Informatik oder einem verwandten Bereich.

Was wir bieten

• Du kannst in einem rollenbasierten Unternehmen arbeiten.

• Du findest bei uns eine offene Unternehmenskommunikation und kurze Entscheidungswege wieder.

• Für Deinen optimalen Start bei der BCM steht ein umfangreiches und individuelles Onboarding-Programm in den Startlöchern.

• Kollegen auf Augenhöhe und unsere Personalentwicklung unterstützen Dich dabei, sowohl fachlich als auch persönlich aufs nächste Level zu kommen.

• Unvergessliche Mitarbeiterevents: monatliche Teamaktivitäten und ein BCM-Urlaub im Sommer.

• BCM stärkt Deine Balance, egal ob Work oder Life, wir stehen immer hinter Dir.

• Casual oder Anzug? Büro oder Homeoffice? Frühaufsteher oder Nachteule? Du entscheidest, bei uns hast Du die Freiheit, so zu arbeiten, wie es am besten zu Dir passt.

• Du läutest mit unserer BCM Community das Wochenende mit einem Erfrischungsgetränk ein.

• Frisches Obst, Tee, Mineralwasser, Kaffee usw. in unserem Büro selbstverständlich.