Komplexe Systeme erfordern neue Methoden – Teil 3: MAPS im Vergleich zu „konventionellen“ Tests
Im ersten Blogbeitrag stellten wir das Testverfahren MAPS (Model-Based Development of Active and Passive Safety Systems) vor. In Teil 2 „Der Test eines Airbag-Controllers mit MAPS“ wurde ein konkretes Anwendungsbeispiel erläutert. Es handelt sich dabei um den ersten Einsatz von MAPS bei Continental. Der dritte Teil befasst sich mit den Ergebnissen der Expertenbefragungen, welche die Technische Hochschule Ingolstadt im Anschluss an das Testprojekt durchführte.
Zur Erinnerung: MAPS ist ein Testframework, welches die Vorteile des modellbasierten Testens, der Testautomatisierung und der Testdurchführung in virtueller Fahrumgebung kombiniert. Die Tests werden zunächst modelliert, dann mit Hilfe der sepp.med MBTsuite generiert und verwaltet und schließlich durch den IPG CarMaker durchgeführt. CarMaker ist ein Werkzeug für virtuelle Fahrversuche in welchem neben manöverbasierten Tests auch vollständige Fahrzeugsimulationen automatisch umgesetzt werden können.
Der erste Test mit MAPS erfolgte an einem realen Produkt: einem Airbag-Controller von Continental. Der Test des Airbag-Controllers zeichnete sich durch seine hohe Komplexität aus, da eine Vielzahl interner Systemzustände in Kombination mit unterschiedlichen externen Umgebungssituationen geprüft werden müssen.
Abbildung 1: Kombination der internen Systemzustände mit unterschiedlichen externen Umgebungssituationen
Um die Wirksamkeit des neuen Testverfahrens zu belegen, verglich die TH Ingolstadt die modellbasierten Tests in simulierter Umgebung mit dem zuvor bei Continental praktizierten „konventionellen“ Testverfahren. Dazu mussten Testexperten aus beiden „Lagern“ eine Reihe von Aspekten auf einer Skala von 1 bis 5 bewerten, wobei 5 das beste Ergebnis war (= sehr gut). Die Aspekte lassen sich in sechs Kategorien gruppieren.
- Änderungen
- Team
- Dokumentation
- Testabdeckung
- Lernkurve
- limitierende Faktoren
Der erste Punkt umfasst Fragen zu Anzahl und Aufwand von Änderungen im Test, die entweder durch Fehler im Test oder durch Änderungen im zu testenden System verursacht werden. In der Kategorie „Team“ wurde die Anzahl der Tester, der Aufwand für Modellierung und Verbesserungen sowie das erforderliches Knowhow bzw. die erforderliche Erfahrung bewertet. Zur Dokumentation zählten Fragen zur Dokumentation der einzelnen Testfälle, dem Automatisierungspotential sowie der Durchgängigkeit und Wartbarkeit der Tests. Testabdeckung befasst sich mit verschiedenen Coverage-Metriken und deren Erfüllungsgrad durch den Test. Zur Lernkurve gehören die Einarbeitungsaufwände, aber auch Wiederverwendbarkeit, Automatisierung und Integration in bestehende Systeme. Limitierende Faktoren sind menschlich und maschinell bedingt (Performance, Speicherplatz).
Abbildung 2: Auswertung der Expertenbefragung (Zusammenfassung)
Wie die Abbildung zeigt, schnitt der modellbasierte Ansatz mit MAPS in allen Kategorien mit Ausnahme der Dokumentation besser ab als der konventionelle Ansatz. Das schlechtere Ergebnis in der Kategorie „Dokumentation“ ist interessanterweise auf eine leicht schlechtere Bewertung der Aspekte „Dokumentation einzelner Testfälle“ und „Wartbarkeit“ zurückzuführen, die in beiden Fällen mit neutral statt mit gut bewertet wurden. Besonders frappierend ist die Diskrepanz jedoch im Bereich der Testabdeckung. Im guten Ergebnis für MAPS spiegelt sich deutlich der Gewinn an Testqualität wider.
Weitere Teile der Artikelserie
- Teil 3: MAPS im Vergleich zu „konventionellen“ Tests