Ein Benchmark ohne Datum ist wertlos

Allgemeine Wissenstests altern langsam. Eine Frage aus der organischen Chemie ist in fünf Jahren noch dieselbe Frage. Fachaufgaben aus regulierten Berufen altern schnell — und leise.

Ein Steuersatz ändert sich, eine Verwaltungsauffassung wird aufgegeben, eine Norm bekommt einen neuen Ausgabestand. Die Aufgabe sieht danach unverändert aus. Nur die richtige Antwort ist eine andere.

Der Fehler, den man nicht bemerkt

Ohne Datum lässt sich ein durchgefallenes Kriterium nicht mehr deuten. Hat das System den Fall falsch gelöst? Oder hat es ihn nach der heutigen Lage richtig gelöst, während die Musterlösung von vorgestern stammt?

Beides sieht in der Auswertung identisch aus. Der Unterschied ist erheblich: Im einen Fall hat das System ein Problem, im anderen der Benchmark.

Ein veralteter Prüfstand meldet keinen Fehler. Er meldet ein Ergebnis, und das ist schlimmer.

Warum es ein Pflichtfeld sein muss

Der Stand der angewandten Rechtslage gehört an jede Aufgabe. In einer Ingenieurdomäne steht an derselben Stelle der Ausgabestand der Norm — mit Ausgabedatum, nicht nur mit Nummer.

Optional darf das Feld nicht sein, und zwar aus einem banalen Grund: Was optional ist, wird beim Schreiben vergessen. Und beim Schreiben ist es das einzige Mal, dass jemand mit Sicherheit weiß, welchen Stand er zugrunde gelegt hat.

Was daraus folgt

• Ein Katalog hat eine Halbwertszeit. Er muss gepflegt werden, nicht einmal gebaut.
• Ergebnisse aus verschiedenen Jahren sind nur vergleichbar, wenn der Stand derselbe ist.
• Ändert sich die Lage, wird die Aufgabe nachgeführt oder stillgelegt — aber nicht stillschweigend weiterverwendet.

Das ist unbequem und der Grund, warum viele Benchmarks es weglassen. Es ist zugleich der Unterschied zwischen einer Messung und einer Momentaufnahme, die man für eine Messung hält.