Komplexe Systeme erfordern neue Methoden – Teil 4: Experten bewerten MAPS
Im ersten Blogbeitrag stellten wir das Testverfahren MAPS (Model-Based Development of Active and Passive Safety Systems) vor. In Teil 2 wurde konkret der Test eines Airbag-Controllers von Continental mit MAPS erläutert. Teil 3 „MAPS im Vergleich zu ‚konventionellen‘ Tests“ befasste sich mit den Ergebnissen der Expertenbefragungen, welche die Technische Hochschule Ingolstadt im Rahmen des ZIM-Projektes durchführte. Dieser vierte und letzte Teil greift die Expertenbefragungen noch einmal auf und beleuchtet die Ergebnisse im Detail.
Zur Erinnerung: MAPS ist ein Testframework, welches die Vorteile des modellbasierten Testens, der Testautomatisierung und der Testdurchführung in virtueller Fahrumgebung kombiniert. Die Tests werden zunächst modelliert, dann mit Hilfe der sepp.med MBTsuite generiert und verwaltet und schließlich durch den IPG CarMaker, einem Werkzeug für virtuelle Fahrversuche, durchgeführt.
Wie in Teil 2 beschrieben, handelte es sich bei dem zu testenden System um einen Airbag-Controller von Continental, der in Unfallsituationen (Abb. 1) ausgelöst wird – oder auch nicht. Der Test des Airbag-Controllers zeichnete sich durch seine hohe Komplexität aus, da eine Vielzahl interner Systemzustände in Kombination mit unterschiedlichen externen Umgebungssituationen geprüft werden müssen.
Um die Wirksamkeit des neuen Testverfahrens MAPS zu belegen, verglich die TH Ingolstadt die modellbasierten Tests in simulierter Umgebung mit dem zuvor bei Continental praktizierten „konventionellen“ Testverfahren. In einer Expertenbefragung wurde eine Reihe von Aspekten auf einer Skala von 1 bis 5 bewertet, wobei 5 das beste Ergebnis war (= sehr gut). Insgesamt wurden sechs Kategorien von Aspekten betrachtet, von denen wir drei noch einmal genauer beleuchten möchten, da hier die größten Diskrepanzen beobachtet wurden.
Abbildung 1: Simulation eines Unfalls
Abbildung 2: Detaillierte Ergebnisse der Kategorie „Team“
In der Kategorie „Team“ schneidet der modellbasierte Ansatz durchweg positiv oder neutral ab. Allerdings erkaufen wir uns den Gewinn an Qualität und Zeitersparnis in der Testfallgenerierung durch einen deutlich höheren Modellierungsaufwand. Da im konventionellen Verfahren keine Testmodelle erstellt werden, überrascht diese Feststellung allerdings nicht. In Summe ergibt sich ein klar positives Ergebnis zu Gunsten von MAPS.
Abbildung 3: Detaillierte Ergebnisse der Kategorie „Testabdeckung“
In der Kategorie „Testabdeckung“ schlagen die Vorteile der automatisierten Testfallgenerierung voll zu Buche. Volle Pfadabdeckung ist aufgrund der hohen Kombinatorik aus internen Fahrzeugzuständen und externen Umgebungssituationen schlicht nicht möglich. Hier ist der Testfallgenerator klar im Vorteil, obwohl auch ihm durch die Testfallexplosion Grenzen gesetzt sind.
Auch Bedingungsabdeckung ist im konventionellen Ansatz nur extrem schwer zu erreichen, kann jedoch problemlos durch den Testfallgenerator garantiert werden. Dieser erreicht auch einen höheren Abdeckungsgrad pro Testfall, was bedeutet, dass insgesamt weniger Testfälle erforderlich sind, um volle Abdeckung zu erreichen.
Abbildung 4: Detaillierte Ergebnisse der Kategorie „limitierende Faktoren“
In der Kategorie „limitierende Faktoren“ beobachten wir eine Verlagerung der Herausforderungen vom Menschen zur Maschine – ein Effekt, der durchaus wünschenswert ist, da es technische Lösungen für Rechenzeit‑, Performance- und Speicherplatzbedarf gibt, während der menschliche Faktor nicht so einfach zu beherrschen ist.
Zusammenfassend lässt sich sagen, dass MAPS einen positiven Effekt sowohl auf die Qualität der Tests als auch auf die erforderlichen Aufwände hat. Die TH Ingolstadt ermittelte eine durchschnittliche Verbesserung der Qualität und der Aufwände um 8 Prozent im Vergleich zum „konventionellen“ Ansatz.
Unser Experte, Dr. Martin Beißer-Dresel, steht Ihnen gerne als Gesprächspartner für alle weiteren Fragen zum Thema zur Verfügung.
Weitere Teile der Artikelserie
- Teil 4: Experten bewerten MAPS