Testautomatisierung
Die Entscheidung für oder gegen eine Testautomatisierung hängt von vielen Faktoren ab. Entwicklungsnahe Tests werden eher automatisiert. In agilen Entwicklungsprojekten ist die Testautomatisierung ein Pfeiler des Prozesses.
Ein großer Vorteil des modellzentrierten Testdesigns ist, dass die Grundsatzentscheidung „manuell oder automatisiert“ vergleichsweise spät getroffen werden kann. Tatsächlich hängt das Testdesign kaum von der gewählten Implementierung ab. In einem Top-down-Ansatz lässt sich im Modell zunächst das Testkonzept entwerfen und darstellen. Zusammenhänge können dank des höheren Abstraktionsniveaus in der grafischen Darstellung visualisiert und mit allen Beteiligten abgestimmt werden. Erst danach wird festgelegt, ob die Beschreibung der einzelnen Aktivitäten Funktionsaufrufe oder textuelle Beschreibungen enthält. Es ist sogar möglich, zunächst die textuelle Beschreibung für einen manuellen Test einzutragen und diese dann als Designdokumentation für den automatisierten Test zu verwenden.
Ein weiterer Vorteil von .mzT in der Testautomatisierung ist die Verwaltung von Testdaten. Da das Modell die Kombinatorik abbildet, kann die Testabdeckung einfach festgelegt und nachgewiesen werden. Dabei empfiehlt es sich, die Testfälle unter Verwendung von MBTsuite automatisch aus dem Modell zu generieren. Der systematische Ansatz erhöht sowohl die Qualität der Tests als auch die Effizienz der Testfallerstellung.
Gut für alle Testphasen
sepp.med unterstützt Sie bei Unit-, Integrations-, Systemintegrations-, System- und Abnahmetests:
- Klären von Anforderungen
- Testmodellierung/.mzT
- Testdesign und -implementierung für funktionale und nicht-funktionale Anforderungen (manuell und automatisiert)
- Erstellung von Testbibliotheken
- Reviews
- Durchführung manueller und automatisierter Tests
- Testdatenverwaltung
- Testdokumentation, Fehlererfassung, Defect Tracking
- Betreuung von Testsystemen
- Erstellung der Testautomatisierungsinfrastruktur
- Unterstützung von Feldtests
Wir sind kompetent in allen Phasen von Verifikations- und Validierungstests und – mit Blick auf die pharmazeutische Industrie – auch in Installation, Operational und Performance Qualification.
Prozessbegleitend unterstützen wir Sie außerdem in den Bereichen Anforderungsmanagement und -verfolgung, Risiko- und Gefährdungsmanagement sowie beim Konfigurations- und Änderungsmanagement.
Hier finden Sie Beispiele für unsere Erfahrungen in diesem Bereich.
Entwicklertests für ein Zellbankverwaltungssystem
TBS_Pharma: Entwicklertests für ein Zellbankverwaltungssystem
sepp.med führte für einen führenden pharmazeutischen Hersteller die Qualitätssicherung für alle GxP-relevanten Teile seines Zellbankverwaltungssystems durch. Das Zellbankverwaltungssystem ist ein Inventarsystem zur Abbildung des Anlegens, Auftauens, Umlagerns und Zählens eingefrorener Zellen und zur Koordination des Zellbanktransports über mehrere Lagerstätten. Es verfügt über ein eigenes Berechtigungskonzept und über eine Audit-Trail-Funktionalität gemäß FDA 21 CFR 11 zur Dokumentation und Nachverfolgung vorgenommener Änderungen.
Zu den von sepp.med übernommenen Aufgaben gehörten:
- Erstellung eines Testkonzepts
- Erstellung der Testspezifikation
- Dokumentengenerierung
- Testautomatisierung
- Anforderungsverfolgung
- Durchführung manueller und automatisierter Tests und Generierung der Testdokumentation
- Qualitätssicherung für alle Testdokumente
Für das Projekt kamen die Werkzeuge von IBM Rational zum Einsatz. So wurde das Testkonzept in IBM Rational Rose erstellt. Testspezifikation und -durchführung fanden innerhalb des IBM Rational TestManager statt. Die Testautomatisierung erfolgte mit IBM Rational Robot. Die Dokumentation wurde mit IBM Rational SoDA erstellt.
Testkonzept und Umsetzung für den Systemtest eines WTB - Connectors
TBS_Systems: Testkonzept und Umsetzung für den Systemtest eines Wire Train Bus - Connectors
Ziel dieses Projekts war es, dem Kunden ein leicht zu wartendes Testbed für den Systemtest eines WTB-Connectors zur Verfügung zu stellen. Wire Train Bus (WTB) ist ein Feldbus-Standard als Teil des Train Communication Network (TCN) in der Transportations-Domäne. Er stellt als Zugbus die Kommunikation zwischen einzelnen Eisenbahnfahrzeugen sicher und dient der Übertragung von Informationen für die Steuerung und Kontrolle.
Das Projekt umfasste Konzeption und Implementierung des Testbeds sowie Durchführung und Testmanagement des Systemtests für den WTB-Connector.
Der von sepp.med gestaltete Testansatz sieht ein modular aufgebautes Datensystem vor. Im Testkonzept wurde die Problemstellung konkretisiert und die angestrebte Lösung beschrieben. Es enthielt darüber hinaus die Beschreibung des Systems sowie die Definition der verwendeten Hardware und Software samt Zeitplan.
Darauf aufbauend spezifizierte sepp.med gemeinsam mit dem Kunden die Anforderungen. Diese bildeten die Grundlage für die Entwicklung von Softwaremodulen zur Steuerung des WTB-Connectors im Testablauf und für die Erstellung einer Keyword-Liste für die Testautomatisierung. Die von sepp.med entwickelten Softwaremodule sind in National Instruments LabView eingebettet. Von hier aus kann der Tester weitere Einstellungen wie COM-Port, IP-Adresse und Auswahl der Prioritäten vornehmen, um schließlich die zu startenden Testskripte auszuwählen und zu überwachen.
Der gesamte Testablauf (Testdesign) wurde nach den Regeln des modellzentrierten Tests (.mzT) in Modellen spezifiziert. Da .mzT ein methodischer Standard ist, vergleichbar mit UML und TTCN-3, entsprechen die Testmodelle bereits einer vollständigen Dokumentation des Testdesigns.
Testautomatisierung
Die aus dem Testdesign resultierende Testautomatisierung kann sowohl automatisiert mit MBTsuite als auch manuell erzeugt werden. Die Keyword-gestützten Testskripte enthalten die an das System Under Test (SUT) geschickten Kommandos samt Parametern. Innerhalb dieser Skripte ist eine Priorisierung und Filterung der Testfälle nach Requirements sowie ein individuell einstellbares Timeout möglich. Um eine hohe Flexibilität und Vereinfachung der Variabilität der Testfälle zu erreichen, wurde die Wertzuweisung der im Skript vorhandenen Variablen in eine MS Excel-Tabelle ausgelagert. Der Tester ist so in der Lage, die Tests zu variieren, ohne die eigentlichen Testskripte neu konzipieren zu müssen (siehe Abb.). Für Testregressionen reicht es aus, das Testdesign in den Testmodellen anzupassen. So wird daraus "auf Knopfdruck" die angepasste und lauffähige Testautomatisierung erzeugt.
Durch die sequenzielle Mehrfachauswahl von unterschiedlichen Testskripten lässt sich die Effektivität im Test weiter steigern. Ein so gestartetes Testszenario, bestehend aus mehreren Testskripten, die unter Umständen wiederum mehrere Testfälle enthalten, kann über einen längeren Zeitraum (z. B. über Nacht) voll automatisiert ablaufen. Das Testergebnis wird in einem von sepp.med festgelegten HTML-Format und zusätzlich als maschinenlesbare Datei ausgegeben. Somit ist eine individuelle Anpassung an andere Ausgabeformate gewährleistet.
Umsetzung
Herausforderungen sind die Manipulation und die Kontrolle des zu testenden Systems durch eine in LabView definierte State Machine. Diese sendet in Abhängigkeit vom Feedback des Systems die aus dem Testskript transformierten Kommandos an das zu testende System, überwacht dieses und generiert nach Abschluss des Testfalls automatisiert einen Verifikations-Report.
Realisiert wird die Testplattform auf diesem Modul durch das proprietäre Echtzeitsystem WindRiver VxWorks. Hier befinden sich unsere über die KW-Software MultiProg entwickelten Funktionsblöcke (FB). Sie werden über das SPS-Laufzeitsystem KW-Software ProConOS verwaltet und nutzen die auf dem System befindlichen Firmware-Bibliotheken. Bei einem empfangenen Testschritt wird ein dazu passender Funktionsblock aufgerufen und die Parameter werden übergeben. Nach der Ausführung wird das Ergebnis in den Ausgangspuffer geschrieben und von LabView ausgewertet und dokumentiert.
sepp.med stellt damit ein schlüsselfertiges Testsystem zur Verfügung, das den Wire Train Bus-Connector mit folgenden Schwerpunkten testet:
- Integration des WTB-Connectors
- Performance Issues
- Zugriff der Applikationen und generische Applikationsszenarien
- falsche Bedienung der Firmware-Bibliotheken einer Applikation
- Konsistenz der Zuginformationsdatenbank im Stack
- Zusammenwirken von mehreren WTB-Connectoren
Es handelt sich um eine benutzerfreundliche, hochflexible Umgebung. Das System orientiert sich an den Kundenwünschen und implementiert internationale Standards der Informationsübertragung im Zugbus (Union Internationale des Chemins de Fer UIC-556 und Train Communication Network IEC 61375).
Testdesign und -Durchführung für eine SPS mit .mzT
TBS_Systems: Testdesign und -Durchführung für eine SPS mit .mzT
Für eine weltweit agierende Unternehmensgruppe, die elektrische Automatisierungs- und Antriebssysteme herstellt, führte sepp.med den Nachweis, dass sich die Methode des modellzentrierten Testens (.mzT) auch für den Test speicherprogrammierbarer Steuerungen (SPS) eignet.
Bei dem zu testenden System handelte es sich um eine SPS zur Steuerung von Servoreglern. Die Programmierung der SPS folgte der in IEC 61131 definierten Sprache.
Zunächst wurde ein Testdesign erstellt und ganz nach den Prinzipien des modellzentrierten Testens in einer UML modelliert. Als Werkzeug kam IBM Rational Rose zum Einsatz. Nach Besprechung des Testdesigns mit dem Kunden wurden die Testfälle in Form eines MS Excel-Dokuments erstellt.
Dann folgten die Tests auf einem aus Hardware- und Softwarekomponenten bestehenden Testsystem. Durchführung und Dokumentation der Tests fanden bei sepp.med statt. Den Abschluss bildete ein Testbericht, der das Testprotokoll enthielt und in dem die Testergebnisse zusammengefasst und bewertet wurden.
Qualitätsicherung mit .mzT
TBS_Med_MR: Qualitätsicherung mit .mzT
sepp.med wurde von einem führenden Hersteller medizingiagnostischer Geräte mit den qualitätssichernden Maßnahmen für verschiedene Produktversionen und ganze Produktfamilien betraut. Getestet werden sowohl intern beim Kunden als auch off-shore entwickelte Funktionen (Applikations-Software und Hotfixes). Die Tests werden teilweise manuell, teilweise automatisiert durchgeführt.
Zu den von sepp.med übernommenen Aufgaben gehören das (modellzentrierte) Testdesign, die Testimplementierung (manuell und/oder automatisiert mit Borland SilkTest), sowie die Testdurchführung inkl. Fehlererfassung und -verfolgung. Arbeiten im Bereich der Testdurchführung sind des Weiteren die Testvorbereitung, Testprotokollierung sowie die Vorbereitung der Fehleranalysen. Die Testplanung sowie die Allokation von Testschichten erfolgt in Absprache mit dem Kunden.
Das sepp.med Testteam ist in allen Testphasen vom Integrationstest bis zum Systemtest beteiligt. (Anm.: Unittests sind Teil der Software-Entwicklung und sind einer separaten Abteilung zugeordnet, in welcher sepp.med ebenfalls vertreten ist). Die Systemtest-Spezifikationen werden aus den vom Kunden definierten Use Cases abgeleitet. Die Durchführung erfolgt durch einen sepp.med Domainen-Experten (MTRA). Zu den Aufgaben der Testautomatisierer gehörten ferner Arbeiten an einer Basis-Testbibliothek, für welche bestehende Module aus einem anderen Testautomatisierungswerkzeug in Borland SilkTest portiert und neue Module konzipiert und entwickelt wurden.
Seit mehreren Jahren wird zur Unterstützung des modellzentrierten Testdesigns das Modellierungswerkzeug United unseres Kooperationspartners, der AFRA GmbH, eingesetzt. sepp.med ist seit längerer Zeit mit der Betreuung der Testarchitektur beauftragt.
Darunter zählten folgende Aufgaben:
- Konzeption und Entwicklung neuer (modellbasierter) Testansätze, vor allem zum Test verteilter Systeme,
- Implementierung von Lösungsansätzen für die Testumgebung,
- sowie die Bearbeitung aller hierfür erforderlichen Dokumente und Teilnahme an Reviews.
Zur Unterstützung der Einführung der modellbasierten Testansätze erstellte sepp.med Schulungs- und Präsentationsunterlagen. Für die Testautomatisierung beriet sepp.med die Anwendungsentwickler beim Einsatz der Testmodule und führte Schulungen durch.
Hans-Werner Mürbeth
Fragen Sie direkt unseren Experten: Unser Abrteilungsleiter Herr Hans-Werner Mürbeth steht ihnen gerne als Gesprächspartner zur Verfügung - nur ein Klick entfernt.

