Reasoning-KI im Audit: So wird Erklärbarkeit prüfbar

Man stelle sich vor, ein autonomes Fahrzeug bremst und erklärt auf Nachfrage: „Ich habe den Ball am Straßenrand erkannt und mit hoher Wahrscheinlichkeit mit einem Kind gerechnet.“ Genau dieses Szenario stand im Zentrum eines Panels auf NVIDIAs GTC-Konferenz im März 2026. KI-Systeme sollen nicht mehr nur handeln, sondern ihr Handeln nachvollziehbar begründen. Marco Pavone, NVIDIAs Direktor für autonome Fahrzeugforschung, beschreibt Reasoning als den Prozess, „ein komplexes Problem in kleinere, besser handhabbare Teile zu zerlegen und Schritt für Schritt eine Handlung zu planen“.

Für regulierte Branchen ist das ein vielversprechender Ansatz. Gleichzeitig entsteht damit eine neue Aufgabe für die Qualitätssicherung: Die Begründung selbst wird zum Testobjekt.

Erklärungen sind nicht automatisch verlässlich

Der EU AI Act fordert in Artikel 13, dass Hochrisiko-KI-Systeme „ausreichend transparent“ sein müssen. Reasoning-Traces scheinen diese Anforderung elegant zu erfüllen. Doch wie verlässlich sind die Begründungen eines Modells?

Turpin et al. wiesen in einer auf der NeurIPS 2023 veröffentlichten Studie nach, dass LLMs ihre tatsächlichen Entscheidungsgründe systematisch verschweigen. Wurden Bias-Faktoren eingeführt, änderten Modelle ihre Antworten um bis zu 36 Prozentpunkte, ohne den Bias in ihrer Gedankenkette zu erwähnen.
Anthropic testete 2025 speziell Reasoning-Modelle und stellte fest, dass diese versteckte Hinweise nur in 25 bis 39 Prozent der Fälle in ihrem Chain-of-Thought offenlegten.
Barez et al. von der Universität Oxford kommen in ihrer Analyse zu dem Schluss, dass die Gleichsetzung von Chain-of-Thought mit Erklärbarkeit ein „fehlplatziertes Vertrauen“ darstellt.

Das Problem ist architektonisch bedingt: Die parallele Berechnung in Transformer-Netzwerken lässt sich nicht verlustfrei in eine sequenzielle Erzählung übersetzen. NVIDIA adressiert dieses Problem durch einen Post-Training-Schritt, der Begründung und tatsächliche Aktion fest aneinanderbindet. Ein wichtiger Fortschritt, der die Lücke aber nicht vollständig schließt.

Die Begründung als Qualitätsmerkmal etablieren

Für Unternehmen in stark regulierten Branchen wie Medizintechnik, Automotive oder Finanzwesen liegt hier eine Chance: Wer Reasoning-Traces nicht nur dokumentiert, sondern systematisch validiert, schafft eine neue Qualitätsdimension. Das Prinzip ist aus der deterministischen Welt vertraut: Jede Aussage braucht einen unabhängigen Nachweis. Übertragen auf KI-Begründungen bedeutet das konkret:

Reasoning-Konsistenz über semantisch äquivalente Inputs testen, vergleichbar mit metamorphem Testen.
CoT-Traces gegen quantitative XAI-Methoden wie SHAP abgleichen, um die inhaltliche Plausibilität zu prüfen.
Die Begründungsqualität über den Produktlebenszyklus monitoren, um Degradation frühzeitig zu erkennen.

Dieser Dreiklang ergänzt bestehende QA-Methoden. NVIDIAs Yejin Choi brachte auf der GTC 2026 den entscheidenden Punkt: Modelle, die nur imitieren, scheitern an seltenen oder neuen Situationen. Reasoning-Fähigkeit verringert dieses Risiko. Die Validierung dieser Fähigkeit sichert den Nutzen ab.

Wer jetzt Kompetenz aufbaut, gewinnt

Kein einzelnes Verfahren erfüllt alle Anforderungen von EU AI Act, MDR, ISO 26262 oder DORA. Der belastbare Ansatz kombiniert Reasoning-Traces für verständliche Kommunikation mit quantitativen Methoden für nachweisbare Ergebnisse. Die Fähigkeit, nicht nur KI-Ergebnisse, sondern auch KI-Erklärungen unabhängig zu prüfen, wird zu einer wichtigen Kompetenz der Qualitätssicherung in regulierten Branchen.

Unternehmen, die diese Kompetenz frühzeitig aufbauen, sind besser vorbereitet, wenn Auditoren erstmals gezielt nach der Validierung von Reasoning-Traces fragen. sepp.med unterstützt Sie dabei, diese neuen Anforderungen in Ihre bestehende QA-Strategie zu integrieren.