Richtig ist nicht brauchbar

Jede Evaluation endet bei einer Zahl. Sie ist bequem: Man kann sie in eine Folie schreiben, mit dem Vormonat vergleichen und einer Geschäftsführung zeigen. Und sie beantwortet fast nie die Frage, wegen der gemessen wurde.

Denn eine Prozentzahl mittelt. Sie behandelt jedes geprüfte Merkmal als gleich wichtig. In der Facharbeit ist das nie der Fall — dort gibt es Fehler, die man korrigiert, und Fehler, die das ganze Ergebnis wertlos machen.

Zehn Punkte, acht in Ordnung, keine Plakette

Bei einer Hauptuntersuchung werden zehn Punkte geprüft. Acht sind in Ordnung — achtzig Prozent, korrekt gerechnet. Aber die Bremse ist defekt, und deshalb bekommt das Fahrzeug keine Plakette.

Die achtzig Prozent sind nicht falsch. Sie beantworten nur eine andere Frage als die, ob man damit fahren darf. Genau diese Trennung fehlt den meisten Evaluationen für KI-Systeme.

Zwei Fragen, zwei Zahlen

Die erste Frage lautet: Wie viel war richtig? Das ist eine Zählung. Bestandene Prüfpunkte geteilt durch alle, ungewichtet. Der Wert zeigt, wie weit ein System insgesamt ist, und eignet sich für den Vergleich über die Zeit.

Die zweite Frage lautet: War das Entscheidende richtig? Das ist keine Zählung, sondern eine Auswahl. Zwei bis drei Prüfpunkte pro Aufgabe werden vorab als kritisch markiert — jene, deren Verletzung real zu einem falschen Bescheid, einer falschen Buchung oder einem Nachweis führen würde, den niemand unterschreibt. Brauchbar ist ein Ergebnis nur dann, wenn alle davon bestanden sind.

Beide Werte stehen nebeneinander. Sie werden nicht gewichtet, nicht gemittelt und nie zu einer Zahl verrechnet.

Warum die Trennung im Alltag zählt

Die interessante Folge zeigt sich beim Vergleich zweier Versionsstände. Macht ein Agent plötzlich vier Fehler statt drei, verliert dabei aber den einen kritischen Fehler, sinkt der Prozentwert — und das Ergebnis ist zum ersten Mal verwendbar. Eine Gesamtnote hätte gemeldet, dass es schlechter geworden ist.

Umgekehrt gilt dasselbe. Ein Agent, der von 74 auf 81 Prozent klettert und weiterhin am selben kritischen Punkt scheitert, hat sich nicht verbessert. Er sieht nur besser aus.

Der Maßstab ist binär, weil die Haftung binär ist

In einer Steuerberatung entscheidet nicht der Anteil richtiger Zwischenschritte, sondern wer die Steuer schuldet. In einem Ingenieurbüro nicht die Zahl korrekter Zwischenwerte, sondern ob der Nachweis anerkannt wird. Es gibt kein „zu achtzig Prozent richtig“.

Eine Messung, die das nicht abbildet, misst etwas anderes als das, was am Ende zählt. Sie ist deshalb nicht wertlos. Aber allein gelassen führt sie in die Irre — und zwar in die angenehme Richtung.