Vergleichsverfahren
gezielter spezifischer Vergleich
Bei gezielt zu testenden Feldern müssen diese jeweils genau erfasst werden. Ein Testframework wie Tosca kann das auf der jeweiligen Seite - das ist dann nur zusätzlicher Spezifizierungs- und Automatisierungsaufwand, neben den Eingabe- auch die Vergleichswerte zu pflegen. Mit dieser Verifizierung ist zugleich entschieden, dass dieser Vergleich stimmen musskompletter diversizierender Vergleich
kompletter diversifizierender Vergleich
Beim diversifizierenden Vergleich werden vorherige, für gut befundene Durchführungs-Ergebnisse als Erwartung abgelegt, um diese für nachfolgenden Vergleiche heranzuziehen - damit haben alle Felder einen Erwartungswert.
Matching
Zunächst müssen die richtigen Werte miteinander verglichen werden. Wenn ein zeilenweiser Textvergleich vorgenommen wird, müssen die zugehörigen Zeilen miteinander verglichen werden und überzählige Blöcke als solche dargestellt werden. Wenn eine Baumstruktur vergleichen wird, müssen die passenden Blätter miteinander verglichen werden.
Vergleich
Der Wertevergleich kann als einfacher String-Vergleich vorgenommen werden. Die unterschiedlichen Zeichen können besonders hervorgehoben werden.
Bewertung
Bekanntlich kann man nicht zweimal in denselben Fluss steigen, schließlich bringt der Lauf der Flusses wie der Lauf der Zeit immer neue Konstellationen. Daher gibt es bei einem kompletten Vergleich typische Abweichungen:
- Datums- und Zeitfelder sind abhängig von der Laufzeit und können - wenn die Laufzeiten vorliegen - rechnerisch erkannt werden
- technische ID-Felder werden jeweils neu ermittelt und können meistens nicht mit der Laufzeit in Verbindung gebracht werden - diese Felder sollten am besten ignoriert werden
- unterschiedliche Eingangskanäle können unterschiedliche Formate aufweisen, die inhaltlich als äquivalent angesehen werden können. Beispiel: optionale Normalisierung in Großbuchstaben
Darstellung
Für die Darstellung des Vergleichs kann es folgende Fälle geben:
- Ist und Soll sind identisch - der Wert kann einfach in neutraler Farbe dargestellt werden = pass
- es gibt einen Unterschied im String-Vergleich, der fachlich als akzeptabel zu bewerten ist = pass
- zur Nachvollziehbarkeit kann der Akzeptanzgrund aufgeführt werden
- es gibt einen Unterschied im String-Vergleich, der fachlich als nicht akzeptabel zu bewerten ist = false
Die typischen Unterschiede müssen auf alle Fälle in der Vergleichsroutine abgefangen werden, um nicht durch falsch positive Vergleiche unnötige Arbeit zu haben, Wenn der Eindruck entsteht, muss die Testautomatisierung hierzu angepasst werden.