Agentic Harness Engineer

Über uns: DeepJudge wurde von ehemaligen Google Search Engineers mit PhDs in AI von der ETH Zurich gegründet und hilft Rechtsteams, das Wissen innerhalb ihrer Organisationen durch erstklassige Enterprise Search und AI-Infrastruktur zu erschliessen und anzuwenden – dies ermöglicht es ihnen, Workflows zu automatisieren, wissensbasierte Anwendungen zu bauen und institutionelles Wissen in einen dauerhaften Vorteil zu verwandeln. Jede Organisation kann die gleichen AI-Modelle lizenzieren, aber keine zwei Organisationen teilen das gleiche institutionelle Wissen. Jahrzehnte an Erfahrung, Arbeitsergebnissen und Präzedenzfällen sind oft über Systeme fragmentiert, werden untergenutzt und sind nicht zugänglich. DeepJudge macht dieses Fachwissen sofort verfügbar und anwendbar – und hilft Rechtsteams, die richtigen Informationen schneller zu finden, relevantes Wissen aufzudecken und es dort anzuwenden, wo es am wichtigsten ist. Unsere Plattform wird von vielen der weltweit führenden Anwaltskanzleien und Rechtsteams genutzt, darunter Holland & Knight, Gunderson Dettmer, Cozen O’Connor, ArentFox Schiff, CMS Switzerland, Schoenherr und andere. Mit Hauptsitz in der Schweiz und einem wachsenden Team in Nordamerika und Europa gestaltet DeepJudge die Zukunft der Art und Weise, wie professionelles Wissen entdeckt und angewendet wird. Bei DeepJudge bewegen wir uns mit Dringlichkeit, denken rigoros und arbeiten eng mit unseren Kunden zusammen, um Produkte zu entwickeln, die bedeutende Probleme lösen. Wenn Sie helfen möchten zu definieren, wie AI die professionelle Wissensarbeit transformiert, würden wir uns freuen, von Ihnen zu hören. Über die Rolle: Agentic Harness ist das Rückgrat unseres Produkts – es transformiert leistungsstarke Modelle in zuverlässige Enterprise-Grade-Anwendungen, denen unsere Kunden vertrauen können. Sie werden Teil eines herausragenden Engineering-Teams und sind verantwortlich für die Qualität unserer Agenten über verschiedene Anwendungsfälle hinweg: Entwicklung des Harness, Erstellung von System-Prompts zur Optimierung der Performance von Frontier-Modellen und Aufbau von Evaluationssystemen, die kontinuierlich die Zuverlässigkeit und Robustheit unserer Features überwachen. Dies ist eine missionskritische Rolle, bei der Ihre Entscheidungen direkt beeinflussen, was unsere Kunden jeden Tag erleben. Wenn Sie glauben, dass Evals eine erstklassige Engineering-Disziplin sind – und kein Nachtrag – und Sie den Stack verantworten wollen, der AI in der realen Welt tatsächlich funktionsfähig macht, dann ist dies Ihr Platz. Ihre Verantwortlichkeiten umfassen: - Die Verantwortung für den Agentic Harness, der kritische Features bei DeepJudge antreibt - Aufbau und Durchführung der Evals End-to-End, vom Design über die Instrumentierung bis hin zum kontinuierlichen Monitoring - Verbesserung der Agent-Qualität sowohl durch Code-Änderungen (Harness) als auch durch Prompting - Beeinflussung unserer Modell- und Launch-Entscheidungen aus Sicht der Agent-Qualität - Enge Zusammenarbeit mit Legal Engineering, Product und Customer Success, um Harness-Verbesserungen zu gestalten und zu priorisieren - Aktuell bleiben bei LLM, GenAI und Agentic-AI-Trends und diese Erkenntnisse in Best Practices einfliessen lassen Sie sind ein guter Fit, wenn Sie: - Einen Master-Abschluss in Informatik oder einem verwandten Bereich haben oder über eine gleichwertige praktische Erfahrung verfügen - In einer oder mehreren Backend-Programmiersprachen wie Python, Rust, Go oder C++ versiert sind - Wissen, wie man Agentic Systems evaluiert und aussagekräftige Eval-Frameworks entwirft - Ein starkes Interesse an den neuesten Trends in GenAI und Frontier-Modellen haben - Dinge gerne von Grund auf neu bauen, ohne Anleitung - Bereits eine grosse Anwendung auf Basis von LLMs gebaut haben - (Nice to have) Erfahrung mit Agentic SDKs - (Nice to have) Vertrautheit mit der Evaluierung von LLM-basierten Systemen Was Sie erwartet: - Eigenverantwortung und die Möglichkeit, das Unternehmen, das Produkt und die Kultur ab dem ersten Tag zu beeinflussen - Ein Front-Seat in einer der angesagtesten Vertikalen im Bereich AI - Standort: Büro 5 Min. Fussweg vom Zürcher Hauptbahnhof entfernt, wo wir primär vor Ort arbeiten - Kollaboratives und unterstützendes Arbeitsumfeld - Potenzial für berufliches Wachstum und Aufstieg innerhalb des Unternehmens Bei DeepJudge glauben wir, dass grossartige Teams auf vielfältigen Perspektiven und Erfahrungen aufbauen. Wir sind stolz darauf, ein Arbeitgeber zu sein, der Chancengleichheit bietet, und setzen uns für eine inklusive, leistungsstarke Kultur ein, in der jeder erfolgreich sein kann. Wir begrüssen Bewerber aller Hintergründe und diskriminieren nicht aufgrund von Rasse, Religion, Hautfarbe, nationaler Herkunft, Geschlecht, Geschlechtsidentität oder -ausdruck, sexueller Orientierung, Alter, Familienstand, Behinderung, Veteranenstatus oder anderen gesetzlich geschützten Merkmalen. Wenn Sie diese Rolle begeistert, Sie aber das Gefühl haben, nicht jede Qualifikation zu erfüllen, ermutigen wir Sie dennoch, sich zu bewerben und uns zu sagen, warum Sie ein guter Fit wären.