Worauf Sie bei einer Evaluation für ein Fachgebiet achten sollten

Evaluationen für Fachaufgaben sehen einander von außen sehr ähnlich. Es gibt Aufgaben, es gibt eine Bewertung, am Ende steht ein Wert. Ob dahinter eine belastbare Messung steckt oder eine gut aussehende Zahl, entscheidet sich an wenigen Punkten.

Diese acht Fragen können Sie stellen, bevor Sie irgendetwas kaufen — und genauso, bevor Sie es selbst bauen.

1. Wer hat die Aufgaben geschrieben?

Wer die Arbeit nicht selbst macht, formuliert Aufgaben, die nach der Arbeit aussehen. Der Unterschied fällt Fachleuten sofort auf und Laien nie. Fragen Sie nach Qualifikation und Berufsjahren der Autorinnen und Autoren, nicht nach der Zahl der Aufgaben.

2. Gibt es genau eine richtige Lösung?

Aufgaben mit mehreren vertretbaren Ergebnissen sind für eine Evaluation unbrauchbar. Sie messen dann nicht mehr, ob ein System richtig liegt, sondern ob es zufällig dieselbe vertretbare Auffassung gewählt hat wie der Autor. Schwankt jemand zwischen zwei Ergebnissen, muss der Sachverhalt geändert werden, nicht die Bewertung aufgeweicht.

3. Sind die Kriterien Pass/Fail oder Punkte?

Punkteskalen von eins bis fünf klingen genauer und sind es nicht. Sie verlagern die Entscheidung in das Ermessen des Prüfers und machen zwei Bewertungen unvergleichbar. Ein Kriterium sollte mit Ja oder Nein zu beantworten sein — sonst misst man den Prüfer mit.

4. Sind nicht alle Fehler gleich schwer — und bildet die Bewertung das ab?

Eine fehlende Fundstelle ist ärgerlich. Ein falscher Steuerschuldner macht das Ergebnis wertlos. Wenn beides gleich zählt und im Mittelwert verschwindet, sagt der Wert am Ende nichts über die Verwendbarkeit. Fragen Sie, ob es einen Begriff für kritische Kriterien gibt und wie viele davon je Aufgabe vorgesehen sind.

5. Steht ein Datum an der Aufgabe?

Fachwissen altert. Ohne festgehaltenen Rechtsstand oder Ausgabestand lässt sich später nicht mehr unterscheiden, ob ein System falsch lag oder die Aufgabe veraltet ist. Beides sieht in der Auswertung identisch aus.

6. Können Sie ein einzelnes Ergebnis nachvollziehen?

Eine Gesamtzahl ohne Einzelbewertungen ist eine Behauptung. Verlangen Sie zu jedem Lauf die vollständige Antwort und die Bewertung jedes Kriteriums mit Begründung. Wenn Sie nicht nachlesen können, warum etwas durchgefallen ist, können Sie auch nichts daran ändern.

7. Woher stammen die Quellen?

Stützt sich eine Musterlösung auf Kommentarliteratur hinter einer Bezahlschranke, kann niemand außerhalb sie prüfen. Frei zugängliche Fundstellen — Gesetze, Verwaltungsanweisungen, Rechtsprechung, veröffentlichte Normen — machen eine Aufgabe für jeden nachvollziehbar.

8. Hat jemand gegengelesen?

Wer eine Aufgabe schreibt, ist für ihre Fehler blind — das gilt in der Fachwelt wie überall. Ein zweiter Fachmensch, der an der Entstehung nicht beteiligt war, findet zusammengesetzte Kriterien, unklare Formulierungen und stillschweigende Annahmen. Fragen Sie, ob es diesen Schritt gibt und ob er verpflichtend ist.

Der Kürzestest

Wenn Sie nur eine Frage stellen können, stellen Sie diese: Kann mir jemand an einem einzelnen Fall zeigen, an welcher Stelle das Ergebnis gekippt ist und warum?

Wer das beantworten kann, hat eine Messung. Wer stattdessen auf den Gesamtwert zeigt, hat eine Zahl.