Wir bauen den Standard für KI-Agenten.
Die Zukunft der KI entscheidet sich nicht daran, wie viel ein Modell weiß, sondern woran es gemessen wird.
Evaluation anfragen
Rubrik-Score
0,0 %
15 Kriterien · 12 bestanden · 3 verfehlt, davon 2 kritisch
80 % korrekt — und trotzdem nicht verwertbar.
FIG 1.0
Was KI produziert, sieht richtig aus. Ob es richtig ist, prüft niemand.
Sprachmodelle sind in der Lage, plausibel klingende Ergebnisse zu erzeugen. Doch echte Facharbeit ist mehr als eine Antwort. Sie besteht aus Abwägungen, Entscheidungen und Kontext, die nur erfahrene Fachleute treffen können.
Dieses Wissen wurde nie erfasst. Es steht in keinem Handbuch und in keiner Datenbank — es existiert nur in der Art, wie erfahrene Fachleute denken. Und genau deshalb fehlt es in fast allen Evaluationen, mit denen heute gemessen wird, wie gut KI wirklich arbeitet.
Was fehlt, ist das menschliche Fachurteil.
Warum das jetzt gemessen werden muss.
KI-Agenten gehen gerade dort in Produktion, wo Ergebnisse verantwortet werden müssen — in Steuerberatungen, Ingenieurbüros, Kanzleien. Ein Fehler bedeutet dort einen falschen Bescheid, eine falsche Buchung, einen Nachweis, den niemand unterschreibt. Und für Anwendungen mit hohem Risiko verlangt der EU AI Act den Nachweis, dass ein System die Anforderungen an Genauigkeit und Robustheit erfüllt.
Was fehlt, ist ein Maßstab. Damit seine Zahlen tragen, gelten drei Regeln:
Fachpraxis
Aufgaben und Bewertungskriterien stammen von Fachexperten mit mindestens fünf Jahren Praxis, nicht von Crowdworkern.
Synthetische Fälle
Jeder Fall ist vollständig erfunden — keine Mandate, keine Kundendaten, auch nicht abgewandelt. Nur deshalb kann jemand mitarbeiten, der einer Verschwiegenheitspflicht unterliegt.
Gegenlesen
Jede Aufgabe wird von einem zweiten Fachexperten geprüft, der an ihrer Entstehung nicht beteiligt war. Erst danach zählt sie in einer Auswertung.
Was wir liefern.
Wir arbeiten mit Fachexperten zusammen, die seit Jahren in ihrem Gebiet arbeiten und für ihre Ergebnisse einstehen müssen. Sie bringen das ein, was in keinem Handbuch steht: woran sie erkennen, dass eine Lösung richtig ist.
Was in den Feldern steht, wechselt mit dem Fachgebiet. Das Verfahren nicht.
Messen
Wo steht der Agent heute.
Befund
Ihr Agent bearbeitet Fälle aus Ihrem Fachgebiet. Sie bekommen beide Kennzahlen und jede Stelle, an der ein Ergebnis gekippt ist — mit der Begründung des Fachexperten daneben.
Fachbenchmark
Ein eigener Katalog für Ihr Gebiet: echte Fälle, Referenzlösungen, Rubriken aus objektiven Kriterien. Aufgebaut mit Fachexperten, die in diesem Gebiet seit Jahren arbeiten.
Verbessern
Material, an dem er besser wird. Für Ihr Fachgebiet hergestellt, nicht aus einem Bestand entnommen.
Supervised Fine-Tuning (SFT)
Hochwertige Prompt-Antwort-Paare und Chain-of-Thought-Verläufe — sie bringen Modellen bei, wie sie sich über komplexe Aufgaben hinweg verhalten sollen.
Reinforcement Learning + Rubriken
Von Fachleuten entworfene Prompts mit Bewertungsrastern für Schlussfolgern und Codeerzeugung — sie machen aus subjektivem Urteil ein skalierbares Belohnungssignal.
Agentenumgebungen (API / MCP)
Maßgeschneiderte Umgebungen über APIs, Werkzeuge und Dienste hinweg — für Training und Bewertung von Agenten in echten Arbeitsabläufen.
Nachmessen
Beleg, dass er es wurde.
Laufende Messung
Jeder neue Versionsstand läuft gegen denselben Katalog. Sie sehen nicht nur, ob Ihr Agent besser geworden ist, sondern an welcher Stelle.
Häufige Fragen.
Für wen ist das gemacht?+
Für Unternehmen, die einen KI-Agenten in einem Fachgebiet betreiben und wissen müssen, ob seine Ergebnisse verwendbar sind. Und für Fachexperten, die ihr Urteil in Kriterien fassen wollen, an denen sich eine Maschine messen lässt.
Wie fängt man an?+
Mit einem einzelnen Fall aus Ihrem Fachgebiet. Ihr Agent bearbeitet ihn, wir werten Kriterium für Kriterium aus und legen den Befund daneben. Danach ist entschieden, ob sich ein eigener Katalog lohnt — vorher lohnt sich die Frage nicht.
Funktioniert das auch für mein Fachgebiet?+
Was in den Feldern steht, wechselt mit dem Fachgebiet. Das Verfahren nicht. Die Voraussetzung ist nicht die Branche, sondern dass es Fälle mit genau einer richtigen Lösung gibt und Fachleute, die diese Lösung begründen können.
Wir haben schon eigene Evaluationen. Warum noch eine?+
Interne Evaluationen messen meist, ob ein Ergebnis dem entspricht, was das Team erwartet hat. Wir messen, ob es dem entspricht, was fachlich richtig ist — beurteilt von jemandem, der diese Arbeit täglich macht. Und wir trennen dabei, wie viel richtig war, von der Frage, ob das Entscheidende richtig war.
Was passiert mit unseren Daten?+
In den Katalog fließen keine. Jeder Fall ist vollständig erfunden — keine Mandate, keine Kundendaten, auch nicht abgewandelt. Ihr Agent bekommt nur den Sachverhalt und die Frage. Was Sie uns über Ihr Fachgebiet erzählen, brauchen wir für den Zuschnitt, nicht für die Aufgaben.
Was bekommen wir am Ende in die Hand?+
Beide Kennzahlen, die Bewertung jedes einzelnen Kriteriums mit Begründung, die vollständige Antwort des Agenten — und die Stellen, an denen ein Ergebnis gekippt ist. Alles nachvollziehbar bis zur Fundstelle.