Eine Zahl genügt nicht.
Wie wir messen, ob ein Agent Facharbeit liefert — und warum das zwei Kennzahlen braucht, die nie miteinander verrechnet werden.
Woran heute gemessen wird
Solange Aufgaben abfragbar sind, sehen die Werte gut aus. Sobald sie der Arbeit eines Berufs ähneln, brechen sie ein — dieselben Modelle, dieselbe Veröffentlichung, siebzig Punkte Unterschied.
| Benchmark | Gemini 3.8 Flash | Claude Opus 5 | GPT-5.6 Sol | Claude Sonnet 5 |
|---|---|---|---|---|
Terminal-bench 2.1 Agentische Terminalarbeit | 89,4 % | 89,1 % | 88,8 % | 80,4 % |
LABBench2 Biologische Forschungsaufgaben | 86,2 % | 84,2 % | 82,1 % | 80,1 % |
Vals Finance Agent v2 Aufgaben von Finanzanalysten | 61,4 % | 58,6 % | 53,8 % | 53,9 % |
HLE-Verified Fachübergreifendes Expertenwissen | 54,9 % | 54,4 % | 54,5 % | 31,0 % |
Terminal-bench 4.0 Allgemeine Agentenfähigkeit | 19,1 % | 51,8 % | 37,3 % | 12,4 % |
GDP.PDF Fachdokumente erfassen | 35,0 % | 37,0 % | 40,0 % | 28,0 % |
Harvey Legal Agent Benchmark Juristische Arbeitsabläufe | 10,0 % | 6,7 % | 2,5 % | 5,0 % |
Herstellerangaben aus der Modellkarte zu Gemini 3.8 Flash, Stand September 2026. Eine einzige Quelle, damit die Zeilen vergleichbar bleiben. Der jeweils beste Wert je Zeile ist hervorgehoben.
Ganz unten steht ein regulierter Beruf. Bei juristischen Arbeitsabläufen kommt das beste Modell auf zehn Prozent.
Genau dort arbeiten wir — und dort reicht eine Prozentzahl erst recht nicht. Wer zehn Prozent erreicht, muss wissen, welche Kriterien er gerissen hat. Und wer achtzig erreicht, ebenso: Denn ein Agent kann vier Fünftel einer Aufgabe richtig bearbeiten und an der einen Stelle scheitern, an der es zählt. Ein Durchschnitt versteckt genau das.
Zwei Kennzahlen, nie verrechnet.
Rubrik-Score
Bestandene Kriterien geteilt durch alle. Rein gezählt, ungewichtet. Er sagt, wie viel richtig war.
Verwertbar
Wahr nur dann, wenn alle als kritisch markierten Kriterien bestanden sind. Sie sagt, ob das Entscheidende richtig war.
Ein Agent kann 80 Prozent erreichen und trotzdem nicht verwertbar sein. Ein Mittelwert würde das verstecken.
Über einen ganzen Katalog ergibt sich daraus die Verwertbarkeitsquote: der Anteil der Aufgaben, bei denen ein verwertbares Ergebnis herauskam.
Wie eine Aufgabe entsteht.
Der Apparat ist fachneutral. Für einen umsatzsteuerlichen Fall und für einen Standsicherheitsnachweis läuft dieselbe Mechanik — es wechselt nur, was in den Feldern steht.
- Sachverhalt
- Fünf bis fünfzehn Sätze, wie eine Mandantenschilderung. Vollständig synthetisch: erfundene Firmen, Personen, Orte, Beträge. Alle entscheidungserheblichen Tatsachen stehen drin — und irreführende Angaben dürfen vorkommen, solange sie realistisch sind.
- Referenzlösung
- Die fachlich richtige Antwort, gegliedert und mit Fundstellen. Jedes spätere Rubrikkriterium muss darin vorkommen. Fehlt es dort, fehlt entweder das Kriterium oder die Lösung ist unvollständig.
- Rubrik
- Zehn bis fünfzehn Aussagen über die Antwort, jede ohne Ermessen mit Ja oder Nein zu beantworten — wie ein Unit-Test. Bei Rechenergebnissen steht der Zielwert im Kriterium. Sobald ein „und“ darin vorkommt, werden zwei Kriterien daraus.
- Kritische Kriterien
- Zwei bis drei je Aufgabe. Maßstab: Eine Verletzung würde real zu einem falschen Bescheid, einer falschen Buchung oder einem Nachweis führen, den niemand unterschreibt. Typischerweise Endergebnisse, nicht Begründungsschritte.
- Gegenlesen
- Ein zweiter Fachexperte, der an der Entstehung nicht beteiligt war, prüft Lösung und Rubrik. Erst danach geht eine Aufgabe in eine Auswertung ein.
- Lauf
- Der Agent bekommt nur Sachverhalt und Frage — kein Antwortformat, keine Hilfsmittel, keinen Hinweis darauf, woran gemessen wird.
- Auswertung
- Jedes Kriterium einzeln, Pass oder Fail, ungewichtet. Daraus der Rubrik-Score und, davon getrennt, die Verwertbarkeit. Über den ganzen Katalog ergibt sich die Verwertbarkeitsquote.
Häufige Fragen.
Wer schreibt die Aufgaben?+
Fachexperten mit mindestens fünf Jahren Praxis in dem Gebiet, aus dem die Aufgabe stammt. Sie schreiben den Sachverhalt, die Referenzlösung und die Rubrik. Danach liest ein zweiter Fachexperte gegen, der an der Entstehung nicht beteiligt war.
Sind die Fälle echt?+
Nein, und das ist Absicht. Firmen, Personen, Orte und Beträge sind erfunden, es gibt keinen Bezug zu einem bestehenden oder früheren Mandat, auch nicht abgewandelt. Nur deshalb kann jemand mitarbeiten, der einer Verschwiegenheitspflicht unterliegt. Realistisch sind die Fälle trotzdem — einschließlich der Angaben, die in die Irre führen sollen.
Was heißt „kritisch“?+
Ein Kriterium ist kritisch, wenn seine Verletzung real zu einem falschen Bescheid, einer falschen Buchung oder einem Nachweis führen würde, den niemand unterschreibt. Pro Aufgabe sind zwei bis drei Kriterien kritisch. Wären es mehr, sagte die Verwertbarkeitsquote nichts mehr aus.
Warum nicht einfach eine Gesamtnote?+
Weil ein Durchschnitt den entscheidenden Fehler versteckt. Ein Agent kann vier Fünftel der Kriterien treffen und trotzdem den falschen Steuerschuldner nennen oder einen Nachweis auf der falschen Norm aufbauen. Eine Zahl, die beides vermischt, beantwortet die einzige Frage nicht, die im Betrieb zählt.
Kann ich ein Ergebnis nachvollziehen?+
Ja. Zu jedem Lauf gehört die vollständige Antwort des Agenten und die Bewertung jedes einzelnen Kriteriums mit Begründung. Als Quellen sind nur frei zugängliche Fundstellen zugelassen — Gesetze, Verwaltungsanweisungen, Rechtsprechung, Normen. Nichts hinter einer Bezahlschranke, damit jede Aufgabe von jedem nachprüfbar bleibt.
Wie kommt mein Agent hinein?+
Über eine Anfrage. Wir klären, um welches Fachgebiet es geht, lassen Ihren Agenten gegen einen bestehenden oder eigens aufgebauten Katalog laufen und liefern beide Kennzahlen samt der Stellen, an denen ein Ergebnis gekippt ist.