LLM / AI Platform Architect (m/w/d)

Für den Aufbau einer zentralen Plattform zur Nutzung von Large Language Models und weiteren KI-Anwendungen suchen wir einen erfahrenen AI-/LLM-Architekten. Du verantwortest die technische Konzeption der Plattform und begleitest deren Umsetzung bis in den produktiven Betrieb.

Der Fokus liegt auf einer sicheren und skalierbaren On-Premise-Architektur, die sowohl Inference-Anwendungen als auch weitere GPU-basierte Workloads unterstützt. Dabei arbeitest du eng mit Infrastruktur-, Plattform- und Betriebsteams zusammen und sorgst durch gezielten Wissenstransfer dafür, dass die Lösung anschließend eigenständig betrieben und weiterentwickelt werden kann.

• Konzeption einer zentralen Plattform für LLM-Inference und weitere GPU-basierte KI-Workloads

• Entwicklung einer geeigneten Zielarchitektur für den produktiven On-Premise-Betrieb

• Planung und Bewertung von LLM-Serving- und Inference-Komponenten

• Definition von Betriebs-, Governance- und Bereitstellungsmodellen für die KI-Plattform

• Beratung bei der Auswahl geeigneter Open-Weight-Modelle, insbesondere für deutschsprachige Anwendungsfälle

• Bewertung von Anforderungen an GPU-Kapazitäten, deren Aufteilung und Nutzung

• Konzeption geeigneter Verfahren zur GPU-Segmentierung und Ressourcensteuerung

• Berücksichtigung von NVIDIA MIG sowie alternativen GPU-Sharing- und Scheduling-Ansätzen

• Begleitung der Integration der Plattform in bestehende Infrastruktur- und Betriebslandschaften

• Vorbereitung der technischen Anbindung bestehender dokumentenbasierter KI-Anwendungen

• Berücksichtigung von Datenschutz, Informationssicherheit, Datensouveränität und regulatorischen Anforderungen

• Abstimmung mit beteiligten Architektur-, Plattform- und Betriebsteams

• Erstellung technischer Konzepte, Entscheidungsgrundlagen und Betriebsdokumentationen

• Durchführung von Wissenstransfer und Befähigung der internen Teams

• Mehrjährige Erfahrung als Architekt im Umfeld von LLM-, GenAI- oder Model-Inference-Plattformen

• Nachweisbare Erfahrung mit dem produktiven Betrieb von LLM-/KI-Lösungen

• Sehr gute Kenntnisse in der Architektur GPU-basierter KI-Infrastrukturen

• Erfahrung mit On-Premise-Umgebungen und idealerweise Projekten im regulierten bzw. öffentlichen Umfeld

• Fundierte Kenntnisse zu Betriebs- und Governance-Modellen für KI-Plattformen

• Erfahrung bei der Bewertung und Auswahl leistungsfähiger Open-Weight-Modelle

• Erfahrung im Umfeld dokumentenbezogener KI-Verarbeitung

• Praktische Kenntnisse mit Tesseract, trOCR und ABBYY FlexiCapture

• Verständnis für GPU-Ressourcenmanagement, Segmentierung und Scheduling

• Kenntnisse relevanter Container-, Kubernetes- und AI-Plattform-Technologien

• Verständnis für IT-Betriebsprozesse sowie Datenschutz- und Security-Anforderungen

• Sehr gute Kommunikations- und Beratungskompetenz

• Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln

• Sicheres Arbeiten in interdisziplinären Teams