Praktikum – Bewertung von Retrieval-Augmented Generation Systemen (Zürich)

Über den Job

Befristeter Vertrag (typischerweise 3 Monate) · 80–100 % · Zürich · Studierende (Bachelor-, Master- oder PhD-Niveau)

„Daten zu verstehen ist die entscheidende Kompetenz in allen Branchen.“

Wir bauen D ONE mit der Überzeugung auf, dass jedes Unternehmen ein Datenunternehmen sein wird. Seit unseren Anfängen helfen wir unseren Kunden, ihre Daten zu verstehen und Wert daraus zu generieren.

In diesem Praktikum arbeiten Sie eigenständig an einem Thema im Bereich der Bewertung generativer KI-Systeme. Sie verwandeln unscharfe Qualitätsfragen in vertrauenswürdige Messungen und machen diese Messungen reproduzierbar.

Zu Ihren Aufgaben gehören:

• Überprüfung der Evaluierungsmethodik für retrieval-unterstützte und generative Systeme.
• Entwurf und Implementierung automatisierter Evaluierungslogik in Python.
• Erstellung und Pflege von Testdatensätzen, einschließlich Goldstandards und synthetischer Fälle.
• Statistische Analyse der Ergebnisse und Ableitung klarer, nachvollziehbarer Schlussfolgerungen.
• Dokumentation Ihrer Arbeit und Präsentation vor technischem und nicht-technischem Publikum.

Was Sie mitbringen:

• Aktuelle Immatrikulation in einem Bachelor-, Master- oder PhD-Studiengang in Informatik, Data Science, Computerlinguistik, Ingenieurwesen, Mathematik oder einem vergleichbaren Fach.
• Interesse an mindestens einem Branchenbereich und Neugier darauf, wie Daten darin Wert schaffen.
• Bodenständige und pragmatische, ergebnisorientierte Einstellung.
• Erfahrung im Umgang mit grossen Datensätzen und Datenbanken.
• Kenntnisse in relevanten Technologien und Programmiersprachen (z. B. Python, SQL, Git, Spark, Cloud-Plattformen).
• Ausgezeichnete Kommunikationsfähigkeiten in Englisch; Deutschkenntnisse sind ein starkes Plus.

Bevorzugte Qualifikationen:

• Verständnis grosser Sprachmodelle und retrieval-unterstützter Generierung sowie der typischen Schwachstellen solcher Systeme.
• Vertrautheit mit Evaluierungskonzepten wie Treue, Fundierung, Antwortrelevanz, Kontextpräzision und -erfassung sowie Halluzinations-Erkennung.
• Erfahrung mit Evaluierungstools wie RAGAS, DeepEval, promptfoo, TruLens oder LangSmith oder die Bereitschaft, entsprechende Logik selbst zu entwickeln.
• Erfahrung mit LLM-als-Juror-Techniken und gesunder Skepsis gegenüber deren Zuverlässigkeit.
• Solide statistische Grundlagen: Stichproben, Signifikanztests, Konfidenzintervalle, Inter-Annotator-Übereinstimmung.
• Praktische Fähigkeiten in Testset-Erstellung, Annotationsrichtlinien und synthetischer Datengenerierung.
• Software-Engineering-Disziplin: wiederverwendbare Python-Pakete, automatisierte Testsuiten, CI, reproduzierbare Experimentpipelines.
• Fähigkeit, quantitative Ergebnisse visuell und prägnant zu kommunizieren (z. B. pandas, plotly, matplotlib, Dashboards).

Was wir bieten:

• Eine unkomplizierte und ruhige Arbeitsumgebung, die es ermöglicht, sich auf das Wesentliche zu konzentrieren.
• Ein internationales Team talentierter Menschen aus verschiedenen Hintergründen, die Ambitionen haben, Herausforderungen lieben und wissen, wie man bei der Arbeit Spass hat.
• Direkte Betreuung durch erfahrene D ONE-Berater sowie Zugang zu unserer D ONE Academy mit Wissensaustausch, Experten- und Arbeitsgruppen.
• Ein klar abgegrenztes Thema, das Ihnen gehört, mit der Freiheit, Ihren eigenen Ansatz zu gestalten.
• Regelmässige soziale Veranstaltungen ausserhalb des Büros.
• Ein realistischer Weg, nach einem erfolgreichen Praktikum als Berater bei D ONE einzusteigen.

Um in dieser Rolle erfolgreich zu sein, sollten Sie:

• Stets bestrebt sein, die Bedürfnisse Ihrer Kunden zu verstehen.
• Hervorragende Ergebnisse mit hohem Geschäftswert in verständlicher Form liefern.
• Die intellektuelle Beweglichkeit besitzen, die Aufgabe auf eine unkomplizierte Weise zu erledigen.
• Kluge und kreative Teamarbeit schätzen.
• Selbstständig arbeiten und Ihren Fortschritt strukturieren, dabei wissen, wann Sie einen erfahrenen Kollegen hinzuziehen sollten.

Haben Sie Interesse, einem grossartigen Team mit nachweislicher Erfolgsbilanz beizutreten und an einem Thema zu arbeiten, das Sie ständig herausfordert?

Wir freuen uns auf Ihre Bewerbung unter Angabe der Referenz:

D ONE Value Creation AG

Sihlfeldstrasse 58

8003 Zürich