Testkonzept - Testauswertung

Die Testauswertung ist ein Bestandteil des Testprozesses, der die Qualität und Effektivität der Tests sicherstellt und informierte Entscheidungen über die Freigabe der Software ermöglicht.

Es ist ein Prozess, der dazu dient, die Ergebnisse der durchgeführten Tests zu analysieren und daraus Schlüsse für die Qualitätssicherung und zukünftige Testaktivitäten zu ziehen. Diese Phase umfasst die systematische Sammlung, Sicherung und Analyse der Testdaten.

Schritte der Testauswertung

Sicherung der Testergebnisse

Datenarchivierung
Zu Beginn der Testauswertung sollten alle relevanten Testergebnisse gesichert werden, um ein unabsichtliches Überschreiben zu verhindern. Dies erfolgt durch die Anlage eines separaten Archivs innerhalb des Testsystems mit eingeschränktem Zugriff.
Verifizierung und Speicherung
Die durch die Tester verifizierten Ergebnisse werden im Verzeichnis der SOLL-Ergebnisse abgelegt. Dies ist auch bei Fehlerenthalt wichtig, da in einem Re-Test mindestens dieses Ergebnis wieder erreicht werden sollte.

Auswertungsprozess

Standardreports
Das Testprojekt definiert Standardreports, die regelmäßig während der Testdurchführung erstellt werden. Diese beinhalten Übersichten über die Testfallabarbeitung und den Status der Fehlerbearbeitung, aufgeschlüsselt nach verschiedenen Kriterien wie Testobjekten und Abteilungen.
Individuelle Auswertungen
Bei Bedarf können die Standardreports durch individuelle Auswertungen ergänzt werden, um spezifische Anforderungen oder Fragen zu adressieren.

Kommunikation der Ergebnisse

Statusberichte
Die Testergebnisse und der Fortschritt der Testaktivitäten werden über regelmäßige Statusberichte kommuniziert, die sowohl der Geschäftsführung als auch den Projektleitern einen aktuellen Überblick geben.
Testendebericht
Zum Abschluss der Integrationstests und Systemtests wird ein Testendebericht erstellt, der detaillierte Informationen über den Verlauf und den Erfolg der jeweiligen Teststufe liefert.

Qualitätssicherung und kontinuierliche Verbesserung

Feedbackschleife
Die Ergebnisse der Testauswertung dienen nicht nur der Dokumentation des aktuellen Teststands, sondern auch der Identifizierung von Verbesserungspotenzialen für zukünftige Tests.
Optimierung von Testprozessen
Basierend auf den Auswertungen werden Empfehlungen zur Optimierung der Teststrategien und -methoden gegeben

Technische Umsetzung

Testmanagementtools
Falls verfügbar, sollten Testmanagementtools genutzt werden, um die Auswertungen zu speichern und bei Bedarf abzurufen. Diese Tools bieten oft fortgeschrittene Analysefunktionen und automatisierte Berichterstattung.
Manuelle Erstellung
In Abwesenheit von Testmanagementtools müssen die Reports manuell erstellt werden, was gründliche Planung und Durchführung erfordert.

Soll-Ist-Vergleich

Ziel der Methode ist auf der Grundlage von in der Testfallbeschreibung dokumentierten erwarteten Soll- Verhaltens die inhaltliche Auswertung der durchgeführten Tests:

Vorgehensweise
Vergleichen der Testergebnisse mit den Soll-Vorgaben und / oder mit den Ergebnissen früherer Tests	Statischer Aspekt: » Listen, Formularen, Datenspeichern, Masken Dynamischer Aspekt: » Reihenfolge und Aufeinanderfolgen von Ergebnissen
Dokumentation der festgestellten Abweichung / Übereinstimmung
Durchführen einer Fehleranalyse, um den zukünftigen Entwicklungsprozess zu verbessern

Beispiel für eine Fehleranalyse

Anhand der folgenden Fragestellungen kann die Fehleranalyse durchgeführt werden:

Fragestellung	Anmerkung / Auswirkung
Wann wurde der Fehler gemacht?	Hinweis auf Dokumentationsfehler
Wer hat den Fehler gemacht?	Hinweis auf Schulungs-/Ausbildungsbedarf
Was war falsch?	Bestimmung der Fehlerart / Fehlerklasse
Wie hätte der Fehler vermieden werden können?
Warum wurde der Fehler nicht eher entdeckt?
Wie hätte der Fehler eher entdeckt werden können?	Hinweis auf Verbesserungsmöglichkeit der Arbeitsabläufe
Wie wurde der Fehler entdeckt?	Offensichtlich war hier ein Testfall erfolgreich!

Verifizierung der Testabdeckung

Zur Testauswertung kann man mit Hilfe verschiedener Werkzeuge die Testabdeckung messen und nachweisen. Das bedeutet, dass bei der Programmausführung im Hintergrund dann ein Tool „mitschreibt“, welche Zeilen des Codes zur Ausführung gekommen sind.

Es können folgende Abdeckungsgrade unterschieden werden:

Bezeichnung	Beschreibung
Statement- /Anweisungsüberdeckung	Alle Anweisungen in einem Modul oder Programm werden ausgeführt
Zweig- / Entscheidungsüberdeckung (decision coverage)	Alle Segmente / Zweige eines Moduls oder Programms werden mindestens einmal positiv und negativ ausgeführt
Zweig- / Entscheidungsüberdeckung (zzgl. Extremwerte)	Alle Programmsegmente werden wie mindestens einmal ausgeführt; zusätzlich wird bei den Schleifen mit den Extremwerten getestet
Zweig- / Entscheidungsüberdeckung (zzgl. logischen Ausdruck)	Alle Programmsegmente werden mindestens einmal ausgeführt; darüber hinaus wird bei jedem logischen Ausdruck so getestet, dass der Code bei jeder logischen Bedingung zumindest einmal ausgeführt wird
Zweig- / Entscheidungsüberdeckung (zzgl. max. Schleifendurchläufe)	Alle Programmsegmente werden mindestens einmal ausgeführt; darüber hinaus werden alle Schleifen in dem Modul oder Programm für die Werte i bis k ausgeführt, wobei i=1, 2, 3 .. k
Bedingungsüberdeckung (condition coverage)	Alle Programmsegmente werden wenigstens einmal ausgeführt; bei Schleifen muss so getestet werden, dass die Schleife: 1) nicht ausgeführt wird 2) mit einem niedrigeren Wert des Zählers und 3) mit einem hohen Zählerwert getestet wird
Überdeckung der Bedingungskombinationen	Jede Kombination von Bedingungstermen muss einmal getestet werden
Pfadüberdeckung	Alle möglichen Pfade durch das Modul sind mindestens einmal zu testen
Überdeckung der Pfadkombinationen	Die Kombination aller möglichen Pfade wird durch den Test abgedeckt