Good Company

Als Data Engineer word je onderdeel van een klein, hecht datateam met een architect, een Product Owner en een externe beheerpartij. Je bent de verbindende schakel tussen ruwe data en bruikbare inzichten voor uiteenlopende domeinen, zoals HR, subsidies, inkoop en financiën. Je werkt nauw samen met directies, data scientists en het externe ontwikkelteam, en speelt een sleutelrol in de verdere ontwikkeling van de dataomgeving.

Jouw verantwoordelijkheden zijn:

• Bouwen en onderhouden van datapijplijnen in Databricks met Python en SQL;
• Migreren van bestaande dataoplossingen uit ADF, SQL en een oudere Databricks-omgeving naar een nieuwe hub-spoke Databricks-omgeving;
• Ontwikkelen van generieke pijplijnen, API’s en een datacatalogus;
• Adviseren over en bouwen aan een incrementele aanpak in plaats van full-load batchprocessen;
• Reviewen en verbeteren van code van anderen om de kwaliteit te waarborgen;
• Zorgen dat data betrouwbaar, AVG-proof en conform overheidsstandaarden zoals NORA, DGB en BIO beschikbaar komt;
• Meedenken over de overgang naar een data mesh en nieuwe AI-toepassingen.