KI-Systeme absichern: Warum klassisches Testen nicht reicht
KI-gestützte Funktionen sind in regulierten Branchen längst Realität: von der CT-Segmentierung in der Medizintechnik über ADAS-Objekterkennung im Fahrzeug bis hin zur automatisierten Kreditbewertung. Gleichzeitig verschärft sich der regulatorische Rahmen.
Der EU AI Act stellt ab August 2026 verbindliche Anforderungen an Hochrisiko-KI-Systeme. Neue Standards wie ISO/PAS 8800 für Automotive und aktualisierte FDA-Guidances für KI-Medizinprodukte konkretisieren, was Hersteller nachweisen müssen. Für Unternehmen, die KI-Komponenten entwickeln oder einsetzen, wird eine Frage drängend: Wie stellen Sie sicher, dass Ihre KI nicht nur funktioniert, sondern auch auditfähig ist?
Wenn bewährte Testverfahren an ihre Grenzen stoßen
Wenn bewährte Testverfahren an ihre Grenzen stoßen
Klassische Softwaretests basieren auf einer einfachen Annahme: gleiche Eingabe, gleiche Ausgabe. KI-Systeme folgen diesem Prinzip nicht. Ihre Ergebnisse sind probabilistisch und kontextabhängig. Zwei identische Anfragen an dasselbe Modell können unterschiedliche, aber jeweils plausible Antworten liefern. Das stellt Testteams vor konkrete Probleme:
- Die fehlende Reproduzierbarkeit macht klassische Regressionstests im KI-Umfeld unzuverlässig. Strikte Soll-Ist-Vergleiche greifen ins Leere, wenn es keine einzelne „richtige“ Antwort gibt.
- Hinzu kommt der Black-Box-Charakter vieler Modelle: Warum eine KI ein bestimmtes Ergebnis vorschlägt, lässt sich mit herkömmlichen Code-Reviews nicht klären.
- Und schließlich verändert sich die Leistung eines Modells über die Zeit. Model Drift, also die schleichende Verschlechterung der Vorhersagequalität durch veränderte Realdaten, bleibt ohne gezieltes Monitoring oft unbemerkt.
Was das für Audits und Zulassungen bedeutet
In regulierten Branchen wiegen diese Lücken besonders schwer. Wer bei einer Konformitätsbewertung nach EU AI Act nicht nachweisen kann, wie die KI zu ihren Ergebnissen kommt, riskiert Verzögerungen oder Ablehnungen.
- Für Medizinprodukte fordert die MDR lückenlose Verifikations- und Validierungsnachweise über den gesamten Produktlebenszyklus.
- Im Finanzsektor verlangt DORA seit Januar 2025 ein umfassendes IKT-Risikomanagement, das KI-Systeme einschließt.
- Im Automotive-Bereich erfordern ISO 26262 und SOTIF eine Sicherheitsargumentation, die mit rein deterministischen Testmethoden nicht mehr zu führen ist.
Teams, die KI-Qualitätssicherung erst kurz vor dem Audit adressieren, stehen vor einem erheblichen Nachholbedarf. Denn die geforderten Nachweise betreffen nicht nur das fertige Modell, sondern auch Trainingsdaten, Erklärbarkeit und kontinuierliche Überwachung.
Neue Methoden für eine neue Art von Software
Die gute Nachricht: Es gibt inzwischen erprobte Ansätze, die speziell auf die Eigenheiten von KI zugeschnitten sind.
Metamorphes Testen beispielsweise umgeht das Problem des fehlenden Testorakels, indem es nicht einzelne Ergebnisse prüft, sondern logische Beziehungen zwischen Ein- und Ausgaben. Ein rotiertes Röntgenbild sollte weiterhin korrekt klassifiziert werden. Wenn nicht, deutet das auf mangelnde Robustheit hin.
Explainability-Verfahren wie SHAP oder LIME machen KI-Antworten nachvollziehbar und liefern die Transparenznachweise, die Regulatoren fordern.
Continuous Model Monitoring erkennt Drift-Phänomene im Produktivbetrieb, bevor sie die Modellqualität beeinträchtigen.
Bias-Testing mit diversen Testdatensätzen stellt sicher, dass KI-Systeme keine Personengruppen systematisch benachteiligen.
Kein einzelnes Tool löst dabei alle Herausforderungen. Die Wirksamkeit entsteht durch das Zusammenspiel: risikobasierte Teststrategie, passende Methoden, durchgängige Traceability und ein Qualitätsmanagementsystem, das den regulatorischen Anforderungen standhält. Genau an dieser Schnittstelle zwischen technischem Testing-Know-how und regulatorischer Expertise entscheidet sich, ob eine KI-Qualitätssicherung tragfähig ist oder nur auf dem Papier funktioniert.
Sie wollen sich mit Fachleuten über die Qualitätssicherung von KI-Systemen austauschen? Bei unserem Afterwork Exchange – Business Impact: AI diskutieren Praktiker aus verschiedenen Branchen aktuelle Herausforderungen und Lösungsansätze.
FAQs
Nein. KI-Modelle unterliegen Model Drift und müssen kontinuierlich überwacht werden. Der EU AI Act und branchenspezifische Normen fordern Post-Market-Surveillance über den gesamten Produktlebenszyklus.
Ja. KI-Medizinprodukte müssen künftig sowohl MDR/IVDR als auch den EU AI Act erfüllen. Für Hochrisiko-Systeme gelten ab August 2026 die vollständigen Anforderungen.
Statt exakte Ergebnisse zu prüfen, testet man logische Beziehungen: Bleibt eine Klassifikation bei leicht veränderten Eingaben konsistent? Dieser Ansatz eignet sich besonders für Systeme ohne eindeutiges Testorakel.
Nicht unbedingt andere, aber zusätzliche. Bestehende ALM- und CI/CD-Systeme bleiben die Basis. Sie werden durch KI-spezifische Werkzeuge für Bias-Testing, Explainability und Drift-Monitoring ergänzt.
Alle Branchen mit Hochrisiko-KI-Systemen: Medizintechnik, Automotive, Finanzdienstleistungen und öffentliche Verwaltung. Die regulatorischen Anforderungen konvergieren branchenübergreifend.
Sprechen Sie uns an!
Business Development Consultant