Das ist der Job
Evaluierungsarchitekturen entwickeln: Du konzipierst strukturierte Testsets, Golden Datasets und Metriken zur objektiven Qualitätsmessung von ML- und RAG-Systemen. Tech-Stack anwenden: Du arbeitest souverän mit MLflow oder Weights & Biases, CI/CD-Toolchains wie GitLab CI oder GitHub Actions sowie Container- und Cloud-Umgebungen. <l
Das brauchst du
DEIN PROFIL Ausbildung & Erfahrung: Du verfügst über ein abgeschlossenes Studium in Informatik, Data Engineering, Software Engineering oder einem vergleichbaren technischen Fachgebiet und mindestens 3 Jahre Erfahrung im Betrieb produktiver ML- oder LLM-Systeme im Enterprise-Umfeld.
Darum lohnt es sich
DEINE ROLLE End-to-End-Lifecycle steuern: Du verantwortest Versionierung, Deployment, Monitoring und kontinuierliche Weiterentwicklung von ML- und LLM-Systemen im produktiven Betrieb. Observability sichern: Du implementierst Monitoring für Modell-Drift, Daten-Drift, Latenz, Tokenverbrauch und Antwortqualität.
Reproduzierbarkeit verankern: Du stellst Auditierbarkeit, Nachvollziehbarkeit und kontrollierte Rollbacks in AI-Systemlandschaften sicher. CI/CD für AI etablieren: Du implementierst automatisierte Trainings-, Test- und Deployment-Pipelines inklusive Modell- und Prompt-Versionierung.
Fachwissen im ML/LLM-Qualitätsmanagement: Du verstehst Modell-Lifecycle-Management, Drift Detection, Prompt-Evaluation und experimentelle Vergleichsverfahren tiefgehend.
