Nach der Durchführung der Tests geht es darum zu entscheiden, ob der Test fehlgeschlagen ist oder nicht. Dahinter steckt die entscheidende Frage: liegt ein Fehler vor, so dass die Entwickler nachbessern müssen, oder liegt kein Fehler vor, so dass die Projektleitung sich entspannt zurücklehnen kann.

In der binären Logik gibt es folgende grundsätzlichen Möglickheiten

  Fehler gefunden Fehlern nicht gefunden
Fehler vorhanden echter Fehler false negativ
Fehler nicht vorhanden false positiv echt gut

echt gut

In dem Fall sind alle zufrieden. Bei einer ausgereiften Software sollte das der Normalfall sein.

echter Fehler

Bei einem echten Fehler liegt ein konkretes Optimierungspotential vor, die Entwickler können aufgrund dieses Hinweises die Software verbessern.

false positiv

Hier hat der Test irrtümlicherweise einen Fehler festgestellt, der eigentlich keiner war. Eventuell liegt hier ein Durchführungsfehler vor, ansonsten wird der Fehler genauso gemeldet wie jeder anderer Fehler auch. Das führt zu Diskussion mit den Entwicklern. Im Optimalfall führt das zu einer Klärung und alle sind schlauer, oder die Entwickler sind genervt, dass sie unbegründet aus ihrer konzentrierten Arbeit gerissen worden sind, vor allem, wenn es immer wieder dieselben falschen Fehler sind.

false negativ

In diesem Fall wird fälschlicherweise ein vorhandener Fehler übersehen. Das führt zu keinen Diskussionen, alle sind glücklich bis dann irgendwann der Fehler in der Produktion auffällt. Nicht nur dumm-gelaufen, dadurch kann ein realer Schaden oder zumindest eine Reputationseinbuße der Firma und wenn das zu häufig vorkommt, ist der Arbeitgeber nicht mehr in der Lage, die Löhne zu zahlen - also ganz böser Fehler.

Für diesen Fehler ist man als Tester im Grunde blind. Wenn ein solcher Fehler einmal auffällt beispielsweise in einem Review, muss dieser unbedingt festgehalten werden und schleunigst behoben.