Sie befin­den sich hier:Start­sei­te/Blog/Kom­ple­xe Sys­te­me erfor­dern neue Metho­den – Teil 3: MAPS im Ver­gleich zu „kon­ven­tio­nel­len“ Tests

Komplexe Systeme erfordern neue Methoden – Teil 3: MAPS im Vergleich zu „konventionellen“ Tests

Lese­zeit: 4 Minu­ten

Im ers­ten Blog­bei­trag stell­ten wir das Test­ver­fah­ren MAPS (Model-Based Deve­lo­p­ment of Acti­ve and Pas­si­ve Safe­ty Sys­tems) vor. In Teil 2 „Der Test eines Air­bag-Con­trol­lers mit MAPS“ wur­de ein kon­kre­tes Anwen­dungs­bei­spiel erläu­tert. Es han­delt sich dabei um den ers­ten Ein­satz von MAPS bei Con­ti­nen­tal. Der drit­te Teil befasst sich mit den Ergeb­nis­sen der Exper­ten­be­fra­gun­gen, wel­che die Tech­ni­sche Hoch­schu­le Ingol­stadt im Anschluss an das Test­pro­jekt durchführte.

Zur Erin­ne­rung: MAPS ist ein Test­frame­work, wel­ches die Vor­tei­le des modell­ba­sier­ten Tes­tens, der Test­au­to­ma­ti­sie­rung und der Test­durch­füh­rung in vir­tu­el­ler Fahr­um­ge­bung kom­bi­niert. Die Tests wer­den zunächst model­liert, dann mit Hil­fe der sepp.med MBT­sui­te gene­riert und ver­wal­tet und schließ­lich durch den IPG Car­Ma­ker durch­ge­führt. Car­Ma­ker ist ein Werk­zeug für vir­tu­el­le Fahr­ver­su­che in wel­chem neben manö­ver­ba­sier­ten Tests auch voll­stän­di­ge Fahr­zeug­si­mu­la­tio­nen auto­ma­tisch umge­setzt wer­den können.

logos

Der ers­te Test mit MAPS erfolg­te an einem rea­len Pro­dukt: einem Air­bag-Con­trol­ler von Con­ti­nen­tal. Der Test des Air­bag-Con­trol­lers zeich­ne­te sich durch sei­ne hohe Kom­ple­xi­tät aus, da eine Viel­zahl inter­ner Sys­tem­zu­stän­de in Kom­bi­na­ti­on mit unter­schied­li­chen exter­nen Umge­bungs­si­tua­tio­nen geprüft wer­den müssen.

aa1 teil 3

Abbil­dung 1: Kom­bi­na­ti­on der inter­nen Sys­tem­zu­stän­de mit unter­schied­li­chen exter­nen Umgebungssituationen

Um die Wirk­sam­keit des neu­en Test­ver­fah­rens zu bele­gen, ver­glich die TH Ingol­stadt die modell­ba­sier­ten Tests in simu­lier­ter Umge­bung mit dem zuvor bei Con­ti­nen­tal prak­ti­zier­ten „kon­ven­tio­nel­len“ Test­ver­fah­ren. Dazu muss­ten Test­ex­per­ten aus bei­den „Lagern“ eine Rei­he von Aspek­ten auf einer Ska­la von 1 bis 5 bewer­ten, wobei 5 das bes­te Ergeb­nis war (= sehr gut). Die Aspek­te las­sen sich in sechs Kate­go­rien gruppieren.

  1. Ände­run­gen
  2. Team
  3. Doku­men­ta­ti­on
  4. Test­ab­de­ckung
  5. Lern­kur­ve
  6. limi­tie­ren­de Faktoren

Der ers­te Punkt umfasst Fra­gen zu Anzahl und Auf­wand von Ände­run­gen im Test, die ent­we­der durch Feh­ler im Test oder durch Ände­run­gen im zu tes­ten­den Sys­tem ver­ur­sacht wer­den. In der Kate­go­rie „Team“ wur­de die Anzahl der Tes­ter, der Auf­wand für Model­lie­rung und Ver­bes­se­run­gen sowie das erfor­der­li­ches Know­how bzw. die erfor­der­li­che Erfah­rung bewer­tet. Zur Doku­men­ta­ti­on zähl­ten Fra­gen zur Doku­men­ta­ti­on der ein­zel­nen Test­fäl­le, dem Auto­ma­ti­sie­rungs­po­ten­ti­al sowie der Durch­gän­gig­keit und Wart­bar­keit der Tests. Test­ab­de­ckung befasst sich mit ver­schie­de­nen Coverage-Metri­ken und deren Erfül­lungs­grad durch den Test. Zur Lern­kur­ve gehö­ren die Ein­ar­bei­tungs­auf­wän­de, aber auch Wie­der­ver­wend­bar­keit, Auto­ma­ti­sie­rung und Inte­gra­ti­on in bestehen­de Sys­te­me. Limi­tie­ren­de Fak­to­ren sind mensch­lich und maschi­nell bedingt (Per­for­mance, Speicherplatz).

aa2 teil 3

Abbil­dung 2: Aus­wer­tung der Exper­ten­be­fra­gung (Zusam­men­fas­sung)

Wie die Abbil­dung zeigt, schnitt der modell­ba­sier­te Ansatz mit MAPS in allen Kate­go­rien mit Aus­nah­me der Doku­men­ta­ti­on bes­ser ab als der kon­ven­tio­nel­le Ansatz. Das schlech­te­re Ergeb­nis in der Kate­go­rie „Doku­men­ta­ti­on“ ist inter­es­san­ter­wei­se auf eine leicht schlech­te­re Bewer­tung der Aspek­te „Doku­men­ta­ti­on ein­zel­ner Test­fäl­le“ und „Wart­bar­keit“ zurück­zu­füh­ren, die in bei­den Fäl­len mit neu­tral statt mit gut bewer­tet wur­den. Beson­ders frap­pie­rend ist die Dis­kre­panz jedoch im Bereich der Test­ab­de­ckung. Im guten Ergeb­nis für MAPS spie­gelt sich deut­lich der Gewinn an Test­qua­li­tät wider.

Kommentare und Feedback gerne via Social Media:

Blei­ben Sie auf dem Lau­fen­den – mit dem monat­li­chen sepp.med Newsletter: