KI-Systeme absichern: Warum klassisches Testen nicht reicht

KI-gestützte Funktionen sind in regulierten Branchen längst Realität: von der CT-Segmentierung in der Medizintechnik über ADAS-Objekterkennung im Fahrzeug bis hin zur automatisierten Kreditbewertung. Gleichzeitig verschärft sich der regulatorische Rahmen.

Der EU AI Act stellt ab August 2026 verbindliche Anforderungen an Hochrisiko-KI-Systeme. Neue Standards wie ISO/PAS 8800 für Automotive und aktualisierte FDA-Guidances für KI-Medizinprodukte konkretisieren, was Hersteller nachweisen müssen. Für Unternehmen, die KI-Komponenten entwickeln oder einsetzen, wird eine Frage drängend: Wie stellen Sie sicher, dass Ihre KI nicht nur funktioniert, sondern auch auditfähig ist?

Wenn bewährte Testverfahren an ihre Grenzen stoßen

Klassische Softwaretests basieren auf einer einfachen Annahme: gleiche Eingabe, gleiche Ausgabe. KI-Systeme folgen diesem Prinzip nicht. Ihre Ergebnisse sind probabilistisch und kontextabhängig. Zwei identische Anfragen an dasselbe Modell können unterschiedliche, aber jeweils plausible Antworten liefern. Das stellt Testteams vor konkrete Probleme:

Die fehlende Reproduzierbarkeit macht klassische Regressionstests im KI-Umfeld unzuverlässig. Strikte Soll-Ist-Vergleiche greifen ins Leere, wenn es keine einzelne „richtige“ Antwort gibt.
Hinzu kommt der Black-Box-Charakter vieler Modelle: Warum eine KI eine bestimmte Entscheidung trifft, lässt sich mit herkömmlichen Code-Reviews nicht klären.
Und schließlich verändert sich die Leistung eines Modells über die Zeit. Model Drift, also die schleichende Verschlechterung der Vorhersagequalität durch veränderte Realdaten, bleibt ohne gezieltes Monitoring oft unbemerkt.

In regulierten Branchen wiegen diese Lücken besonders schwer. Wer bei einer Konformitätsbewertung nach EU AI Act nicht nachweisen kann, wie die KI zu ihren Ergebnissen kommt, riskiert Verzögerungen oder Ablehnungen.

Für Medizinprodukte fordert die MDR lückenlose Verifikations- und Validierungsnachweise über den gesamten Produktlebenszyklus.
Im Finanzsektor verlangt DORA seit Januar 2025 ein umfassendes IKT-Risikomanagement, das KI-Systeme einschließt.
Im Automotive-Bereich erfordern ISO 26262 und SOTIF eine Sicherheitsargumentation, die mit rein deterministischen Testmethoden nicht mehr zu führen ist.

Teams, die KI-Qualitätssicherung erst kurz vor dem Audit adressieren, stehen vor einem erheblichen Nachholbedarf. Denn die geforderten Nachweise betreffen nicht nur das fertige Modell, sondern auch Trainingsdaten, Erklärbarkeit und kontinuierliche Überwachung.

Neue Methoden für eine neue Art von Software

Die gute Nachricht: Es gibt inzwischen erprobte Ansätze, die speziell auf die Eigenheiten von KI zugeschnitten sind.

Metamorphes Testen beispielsweise umgeht das Problem des fehlenden Testorakels, indem es nicht einzelne Ergebnisse prüft, sondern logische Beziehungen zwischen Ein- und Ausgaben. Ein rotiertes Röntgenbild sollte weiterhin korrekt klassifiziert werden. Wenn nicht, deutet das auf mangelnde Robustheit hin.

Explainability-Verfahren wie SHAP oder LIME machen Modellentscheidungen nachvollziehbar und liefern die Transparenznachweise, die Regulatoren fordern.

Continuous Model Monitoring erkennt Drift-Phänomene im Produktivbetrieb, bevor sie die Modellqualität beeinträchtigen.

Bias-Testing mit diversen Testdatensätzen stellt sicher, dass KI-Systeme keine Personengruppen systematisch benachteiligen.

Kein einzelnes Tool löst dabei alle Herausforderungen. Die Wirksamkeit entsteht durch das Zusammenspiel: risikobasierte Teststrategie, passende Methoden, durchgängige Traceability und ein Qualitätsmanagementsystem, das den regulatorischen Anforderungen standhält. Genau an dieser Schnittstelle zwischen technischem Testing-Know-how und regulatorischer Expertise entscheidet sich, ob eine KI-Qualitätssicherung tragfähig ist oder nur auf dem Papier funktioniert.