Testkonzept - Testdurchführung

Die Testdurchführung umfasst alle Schritte zur systematischen Abarbeitung einer festgelegten Menge von vorbereiteten Testfällen und Testdaten in einer zu testenden Anwendung. Ziel ist es, die Funktionalität und Stabilität der Software unter verschiedenen Bedingungen und Szenarien zu überprüfen.

Die Testdurchführung umfasst auf der Basis eines Testkonzeptes (inkl. der dazugehörigen Testplanung) alle Schritte zur systematischen Abarbeitung einer festgelegten Menge von vorbereiteten Testfällen und Testdaten in einer zu testenden Anwendung.

Kernaktivitäten der Testdurchführung

Abarbeitung der vordefinierten Testfälle

Ausführung von Testskripten
Testfälle werden über Testskripte oder automatisierte Testprogramme durchgeführt, die so gestaltet sind, dass sie mehrfach und konsistent ausgeführt werden können.
Zeitplanung
Es wird empfohlen, die Durchführung der Testfälle in den ersten zwei Dritteln der Testiteration abzuschließen, um ausreichend Zeit für das Handling von eventuellen Fehlern und deren Behebung im letzten Drittel der Testphase zu haben.

Defectmanagement

Fehlererfassung
Bei Auftreten von Fehlern während der Testdurchführung werden Defects erstellt und dokumentiert.
Fehlerbehebung
Die fehlerbehebenden Einheiten bearbeiten die erfassten Defects. Anschließend werden die Korrekturen in der Testumgebung implementiert und die betroffenen Testfälle erneut ausgeführt, um die Wirksamkeit der Korrekturen zu verifizieren.

Releasemanagement

Softwareeinsätze und Parameteränderungen
Alle Änderungen, die aufgrund von Fehlerkorrekturen durchgeführt werden, müssen gemäß den etablierten Prozessen in der Testumgebung eingesetzt und erneut getestet werden.

Reporting und Testauswertung

Dokumentation
Ergebnisse und Fortschritte der Testdurchführung werden systematisch erfasst und dokumentiert.
Testauswertung
Regelmäßige Auswertungen und Berichte über den Status der Tests, erkannte Fehler und offene Punkte werden erstellt, um den Überblick über den Testfortschritt zu behalten und die Transparenz des Prozesses zu gewährleisten.

Die Tests sollen über entsprechende Testskripte oder Testprogramme möglichst auch mehrfach ausführbar sein. Eine vertretbare Kosten/Nutzen-Relation ist hier genauso wie die Wichtigkeit der Module zu berücksichtigen.

Im Rahmen der Testdurchführung erfolgt die Dokumentation der Resultate pro Testfall mit Datum und Name des ausführenden Testers in einem Testprotokoll.

Die Testdurchführung ist der Prozess der Ausführung eines Tests für ein Softwaresystem oder für eine Komponente, welcher IST Ergebnisse erzeugt.

Bei Abweichungen der IST Ergebnisse zu den erwarteten Ergebnissen ist eine Fehlermeldung an die IT aufzugeben. Ist der Fehler von der IT behoben, muss ein Nachtest (Re- Test) erfolgen.

Unter einer Abweichung wird jedes Ereignis verstanden, welches während des Testens auftritt und eine weitere Untersuchung bedarf.

Der Umfang des Re- Tests ist von der Schwere des Fehlers und dem Umfang der Fehlerbehebung abhängig. Mindestens ist jedoch der gesamte Testfall zu wiederholen.

Ist der Fehler von der IT behoben, muss ein Nachtest (Re- Test) erfolgen. Der Umfang des Re- Tests ist von der Schwere des Fehlers und dem Umfang der Fehlerbehebung abhängig. Mindestens ist jedoch der gesamte Testfall zu wiederholen.

Bei Neueinführung eines Systems bzw. bei einer wesentlichen Umgestaltung einer laufenden Anwendung ist es erforderlich, einen oder mehrere Regressionstest(s) durchzuführen.

Kriterien, die für die Entscheidung, ob und wie viele Regressionstests durchzuführen sind, herangezogen werden sind:

» Kritikalität der Anwendung

» Anzahl der Fehler

» Auswirkungen der Fehlerbehebung

Der IT Bereich sollte den Fachbereichstest durch die Bereitstellung der technischen Umgebung unterstützen. Dazu kann auch die Bereitstellung von Testdaten gehören.

In Abhängigkeit von der fachlichen Auswirkungsanalyse auf die IT Wartung und IT Weiterentwicklung sollte ein angemessener Test durchgeführt werden. Sofern hierbei Zahlungsverkehrsschnittstellen bzw. Buchhaltungsschnittstellen betroffen sein sollten, sind diese nachvollziehbar und kontrollierbar zu dokumentieren.

Als Nachweis der Testdurchführung müssen folgende Inhalte dokumentiert werden:

» Ausführung der Testfälle mit Testergebnis

» Ergebnisse von Re Tests

» Protokollierung und Priorisierung der Fehler

» Dokumentation der Fehlerbehebung

Zeitplan

Vor der Testdurchführung sollte rechzeitig ein allgemeiner Zeitplan erstellt werden, der dann im weiteren Projektverlauf konkretisiert (Detailplanung) werden muss.

Es ist möglich, die Testausführung der verschiedenen Funktionen durch Vergabe von Zeitfenstern - in denen eine Testausführung stattfinden kann - in Etappen über einen Zeitraum zu planen, sofern ein ausreichend großes Zeitfenster für alle Testaktivitäten sowie eine exakte Terminplanung vorhanden ist. Eventuelle Terminverschiebungen würden allerdings hierbei recht problematische Auswirkungen mit sich bringen.

Testausführung

Wenn die Vorbereitung der Testumgebung abgeschlossen ist, so kann die Ausführung der vorbereiteten Testfälle beginnen. Hierfür muss jeder am Test des jeweiligen Testvorhabens Beteiligte die notwendigen Berechtigungen zur Erledigungen seiner Aufgabe erhalten. Dazu zählt beispielsweise die Zugriffsberechtigung auf Dokumentationen und Berechtigungen die Ergebnisse der Testvorbereitung, Testausführung und Testauswertung zu bearbeiten.

In den aufgebauten Testumgebungen müssen für die User entsprechende Profile in der benötigten Ausprägung (lesend, schreibend, löschend) eingerichtet werden.

Die Testausführung kann auf verschiedene Art und Weise erfolgen:

» Manuelle Ausführung

» Teilautomatisierte Ausführung

» Vollautomatisierte Ausführung

Bei der manuellen Testausführung finden alle Aktivitäten durch Tester oder Entwickler statt; sowohl die für die Eingabe von Testdaten an Oberflächen als auch die Bereitstellung von Dateien für den Test von Schnittstellen und der Start von benötigten Batchjobs.

Bei der Teilautomatisierung werden mindestens die Aktivitäten durch komplexe Prozeduren unterstützt, die nicht über GUIs unterstützt werden (z.B. Batchverarbeitungen).

Bei der Vollautomatisierung werden die bereitgestellten Testdaten durch Prozeduren und Skripte aus einem vorgegebenen Verzeichnis „abgeholt“ und dem Testsystem zur Verfügung gestellt. Die Maskeneingaben können durch Capture-/Replay- Werkzeuge und die Aktivitäten im Hintergrund können durch Jobs und Skripte unterstützt werden.

Für die Testausführung müssen Techniken angewandt werden, die die Testausführung

» nachvollziehbar (was häufig eine gesetzliche Grundanforderung ist)

» Re-Test fähig (Bestands- und Bewegungsdaten müssen reproduzierbar sein)

» wenn möglich automatisiert

ablaufen lassen.

Für die Testablaufsteuerung einer Testausführung können technische Hilfsmittel zum Einsatz kommen, die den gesamten Testablauf einem Schritt (z.B. Laden der Datenbank, Ausführung einer Batch-Kette, Sichern der Ergebnisse und Durchführen von Vergleichen) erledigen. Bei der Ausführung von Online-Funktionalitäten können hingegen Capture-/Replay-Tools unterstützen.

Zur Testausführung gehören im Allgemeinen auch die Sicherung der erzielten Ergebnisse in einem Archiv und die Aufbereitung dieser Ergebnisse für eine Auswertung.

Testablauf	Verantwortlicher	Dauer	Endtermin
Testfallbeschreibung
Testdatenbereitstellung
Testuser einrichten
Testfallvorbereitung (Skripte)
Testdurchführung
Defectbehebung
Testwiederholung
Testabschluss

Ein- und Austrittskriterien

Entry-Kriterien
Bevor eine Testiteration beginnen kann, müssen bestimmte Entry-Kriterien erfüllt sein, die im Testplan festgelegt sind. Diese können die Verfügbarkeit der Testumgebung, die Vollständigkeit der Testdaten und die vorherige Abnahme der zu testenden Softwaremodule umfassen.
Exit-Kriterien
Der Abschluss einer Teststufe ist ebenfalls an definierte Exit-Kriterien geknüpft. Diese Kriterien gewährleisten, dass die Software die festgelegten Qualitätsstandards erfüllt und bereit für die nächste Phase oder die Produktivsetzung ist.

Bei Nichterfüllung der Entry- oder Exit-Kriterien muss das weitere Vorgehen in Abstimmung mit der Gesamtprojektleitung definiert werden. Dies kann Anpassungen im Testplan oder zusätzliche Maßnahmen zur Fehlerbehebung umfassen.

Verwendung von Hilfsmitteln (Testtool)

Eine Testdurchführung kann auch durch automatische Testwerkzeuge erfolgen sowie dokumentiert werden.

In Abhängigkeit vom Zielsystem, der Entwicklungsumgebung und der Teststufe können Tools für den Entwicklertest, für Testsysteme für grafische Benutzeroberflächen) und für Lasttestsysteme zum Einsatz kommen, die nach den Vorgaben einer Fachabteilung einen automatisierten Test durchführen.

Entscheidend hierbei ist, dass der Fachbereich die Testfälle mit erstellt und das Testprotokoll des Testtools überprüft, denn letztlich bleibt der Fachbereich für den Umfang und die Durchführung des Tests verantwortlich.

Eskalationsmechanismen

Im Testkonzept sind auch die Vorgänge zu beschreiben, die dann greifen, sofern es zu einer Fehlersituation kommt, bei denen keine eindeutige Verfahrensweise gefunden werden kann.

Ein sogenannter Eskalationsmechanismus muss auch greifen wenn z.B. durch den Testverantwortlichen ein Test als nicht beendet erklärt wird, aber andere Projektbeteiligte aufgrund von Terminrestriktionen dieses jedoch als erforderlich ansehen.

Eine Testausführung kann unter bestimmten Voraussetzungen abgebrochen werden:

Testabbruchkriterien:

» Systemverfügbarkeit ist nicht gewährleistet (Datenbank, Netzwerk, etc.)

» Zu testenden Funktionalitäten entsprechen nicht dem abgestimmten (technischen) Design

» Applikation lässt sich aufgrund von Entwicklungsfehlern nicht starten

» Die zur Verfügung gestellten Daten entsprechen in der Qualität nicht den Anforderungen

» Bestimmte Testschritte können aufgrund von Fehlern in den Schnittstellenprogrammen,
Bildschirmfunktionalitäten oder des Oberflächendesigns nicht weiter ausgeführt werden

» Tester Ressourcen stehen nicht zur Verfügung

Aufgetretene Fehler sind zu klassifizieren und im Testarchiv (z.B. HP Quality Center) zu dokumentieren. Diese Fehler sind den jeweiligen Verantwortlichen zuzuweisen, der die Fehlerbehebung vornehmen bzw. eine Entscheidung über die Art und Weise der Fehlerbehebung treffen kann.

Fehlerverfolgung

Die Erfassung von Abweichungen mit entsprechender Festlegung von Feldern und Prioritäten erfolgt durch die Tester in der Regel in einem Testmanagement-Tool. Nach einer Behebung eines Fehlers ist ein Ticket auf den Status gelöst zu setzen und der entsprechende Testfall zum Re-Test bereit zu stellen.

Das Ticket wird im Falle eines erfolgreichen Re- Test auf den Status „erfolgreich geschlossen“ ansonsten auf den Status „zur Klärung“ gesetzt und erneut einer verantwortlichen Person zugeordnet.

Für eine derartige Fehlerverfolgung ist ein Defectmanager (Abweichungsmanager) zuständig.

Der Defectmanager prüft die von den Testern erfassten Tickets auf:

» korrekte und vollständige Erfassung

» mögliche Doppelerfassung

» qualifizierte Weitergabe der Tickets

Nachtest (Re- Test)

Konnten Testfälle auf Grund eines Fehlers nicht korrekt ausgeführt werden, sind nach einer (vermeintlichen) Behebung der Fehlerursache entsprechenden Nachtests durchzuführen. Hier ist besonders zu beachten, ob auch andere Module oder Programme von der Änderung betroffen sind.

Je nach Umfang der Anpassung der Software könnte ein Tester – in Abstimmung mit dem Testmanagement - auch entscheiden, dass alle Testfälle des Testobjekts oder mehrerer Testobjekte wiederholt werden müssen.