Künstliche Intelligenz beschleunigt Entwicklung, Test und Betrieb digitaler Produkte. Gleichzeitig steigen die Anforderungen an Governance, Sicherheit und Nachweisführung durch den Cyber Resilience Act und einschlägige Normen. Dieser Beitrag ordnet Fähigkeiten von KI, zentrale Risiken und ein praxisnahes Vorgehen für Produktteams ein. OWASP unterstützt durch Beiträge, Ranking von Risiken und weitere Guidancematerialien seit Jahren Unternehmen dabei, sich resilient gegen Cyberangriffe zu positionieren. Sie listen spezifische Schwachstellen für LLM Anwendungen und Low Code Plattformen auf. Die Sicherheitsvorgaben müssen bereits in Architekturen, bei Entwicklung und Betrieb verankert werden.
KI Systeme verarbeiten Texteingaben und erzeugen Ausgaben in verschiedenen Medien. Agenten können Code erzeugen, Funktionen aufrufen und Systeme steuern. Dadurch werden aus Auskunftssystemen ausführende Komponenten. Die Angriffsfläche steigt und Autorisierung sowie Protokollierung werden wichtiger.
Automatisierungen verknüpfen Dienste in Workflows und schaffen API Netze. Retrieval Augmented Generation koppelt Modelle und die Workflows an Datenquellen und Dokumentenablagen. Systeme lesen und schreiben dabei Daten und können kreative Aufgaben dank Anbindung eines LLMs eigenständig bewältigen. JSON und Code-spezifikationen dienen als Austauschformat zwischen Komponenten und LLMs. Diese Kopplungen erhöhen Nutzen und Risiko.
Mehrere KI Systeme lassen sich über Protokolle wie Model Context Protocollekombinieren. Schnittstellen können mit Prompts gesteuert werden. Das beschleunigt Integrationen und verlangt klare Governance für Berechtigungen, Secrets und Logging. Somit ist die Automatisierung von Businessprozessen auch ohne eigenes Training eines LLMs möglich.
Der Cyber Resilience Act definiert horizontale Sicherheitsanforderungen für Produkte mit digitalen Elementen. Hersteller müssen Risiken adressieren, sichere Entwicklung nachweisen, Schwachstellenmanagement etablieren und Updates bereitstellen.
Für Gesundheitssoftware und Health IT beschreibt IEC 81001-5-1 Security Aktivitäten über den gesamten Produktlebenszyklus. Dazu gehören Threat Modeling, Secure Coding, Software Bill of Materials (SBOM), statische und dynamische Analysen, Penetrationstests und Wartung. Security by Design wird zum Standard erklärt.
Die OWASP Top 10 für LLM Anwendungen benennen unter anderem Prompt Injection, Preisgabe sensibler Informationen, Supply Chain Risiken, Daten und Modell-Poisoning, übermäßige Verschachtelung von Agenten, Leakage von Systemprompts sowie Schwächen in Vektorspeichern. Erforderlich sind Validierung von Eingaben und Ausgaben, Minimalprivilegien, Containment, Monitoring und Kostenkontrolle.
Für Low Code und No Code Plattformen nennt OWASP als Kernschwächen vor allem Autorisierung von Accounts und Konnektoren, fehlerhafte Konfigurationen, unsauberes Privilegmanagement, Schwächen im Umgang mit Secrets und unvollständiges Logging. Fehlkonfigurationen sind häufige Ursachen für Vorfälle.
Threat Modeling auf KI Szenarien erweitern. Prompt Injection, Datenabfluss über Tools und Konnektoren, Fehlerfälle von Agenten und Supply Chain berücksichtigen.
Security by Design verankern. Secure Coding Richtlinien, SBOM, Secret Management, Audit Logs und geregelte Updates festlegen.
Teststrategie definieren. Statische und dynamische Analysen, Penetrationstests, Abuse Case Tests für LLM Angriffe sowie Red Teaming für Agenten und Workflows.
Betrieb absichern. Monitoring von Agentenaktionen, Raten und Kostenkontrollen, Schwachstellenmanagement und klare Abschaltpfade.
Governance und Schulung ausbauen. Rollen und Verantwortlichkeiten, Genehmigungsprozesse für neue Konnektoren und Training zu OWASP Risiken.
KI erhöht Tempo und Leistungsumfang in der Produktentwicklung. Mit CRA konformer Security, OWASP gestützter Risikoanalyse und Aktivitäten nach IEC 81001-5-1 lassen sich Risiken steuern und Zulassung sowie Betrieb beschleunigen.
Scope & Gap-Analyse: Produktliste „digitale Elemente“ (SBOM) identifizieren; Ist-Prozesse vs. CRA-Pflichten (Risikomanagement, Vulnerability Handling, Updates, technische Doku, CE) abgleichen.
Konformitätsroute festlegen: Selbstbewertung vs. Beteiligung Dritter (abhängig von Kritikalität/Risikoklasse). Zeitplan bis 11.12.2027 rückwärts planen.
IEC 81001-5-1: Kernnorm für sichere Softwareentwicklung im Gesundheitswesen. → Deckt Threat Modeling, Secure Coding, Tests & Post-Market ab.
Ergänzend: IEC 62304, ISO 14971, IEC 62443-4-1.
Der sichere Umgang mit den Authentifizierungsdaten und den API-Schlüsseln stellt eine zentrale Herausforderung dar, welche durch viele Top-10-Low-No-Code Risiken adressiert wird.
Verordnung EU 2024 2847 Cyber Resilience Act. Amtsblatt der Europäischen Unionhttps://eur-lex.europa.eu/eli/reg/2024/2847/oj/eng
BSI Infoseite zum Cyber Resilience ActDeutschhttps://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Cyber_Resilience_Act/cyber_resilience_act_node.htmlEnglischhttps://www.bsi.bund.de/EN/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Cyber_Resilience_Act/cyber_resilience_act_node.html
IEC 81001 5 1 2021 Security activities in the product life cycleISO Kataloghttps://www.iso.org/standard/76097.htmlVDE Verlaghttps://www.vde-verlag.de/iec-normen/250590/iec-81001-5-1-2021.html
OWASP Top 10 for LLM Applicationshttps://owasp.org/www-project-top-10-for-large-language-model-applications/
OWASP Top 10 Low Code No Code Security RisksProjektseitehttps://owasp.org/www-project-top-10-low-code-no-code-security-risks/Repositoryhttps://github.com/OWASP/www-project-top-10-low-code-no-code-security-risks
Schmidt J, Schutte NM, van Kessel R. Mapping the regulatory landscape for artificial intelligence in health within the European Union. npj Digital Medicine 2024Naturehttps://www.nature.com/articles/s41746-024-01221-6PubMedhttps://pubmed.ncbi.nlm.nih.gov/39191937/
Menzies J et al. Artificial intelligence for international business. Thunderbird International Business Review 2024https://onlinelibrary.wiley.com/doi/abs/10.1002/tie.22370
Bimantara Putra R. Artificial Intelligence in Business. ISCEBE 2024https://conference.ut.ac.id/index.php/proceeding_iscebe/article/view/4232
Gupta S. The Effects of AI on Companies. IJFMR 2025PDFhttps://www.ijfmr.com/papers/2025/3/48442.pdfArtikelseitehttps://www.ijfmr.com/research-paper.php?id=48442
Kubiczek J, Roszko Wójtowicz E, Koczy J, Waszkiewicz I, Woś K. Harnessing AI for business transformation. Statistics in Transition new series 2025Journalseitehttps://sit.stat.gov.pl/Article/1008Gesamtausgabe PDFhttps://sit.stat.gov.pl/SiT/2025/2/gus_sit_2025_02.pdf
Petryshyn N, Novytska S. The key issues of implementing artificial intelligence tools in business operations when entering foreign markets. Economics Finance and Law 2025Artikelseitehttps://efp.in.ua/en/journal-article/1659Archiv PDFhttps://journals.indexcopernicus.com/api/file/viewByFileId/2449771
Model Context ProtocolOffizielle Seitehttps://modelcontextprotocol.io/Einführunghttps://www.anthropic.com/news/model-context-protocolDescope Überblickhttps://www.descope.com/learn/post/mcpDokumentationhttps://docs.descope.com/mcp
n8n Workflows Security und AuditsWebSecScanhttps://n8n.io/workflows/3314-websecscan-ai-powered-website-security-auditor/OTX und OpenAI Web Security Checkhttps://n8n.io/workflows/5175-otx-and-openai-web-security-check/SecOps Kategoriehttps://n8n.io/workflows/categories/secops/
Lovable Vibe Coding BerichterstattungBusiness Insider Gründerszenehttps://www.businessinsider.de/gruenderszene/technologie/8-monate-nach-launch-ki-startup-lovable-erreicht-unicorn-status/Business Insiderhttps://www.businessinsider.com/accel-to-lead-funding-round-for-lovable-2025-6
Vorname:
Nachname:
E-Mail-Adresse:
Telefonnummer:
Betreff:
Ihre Nachricht:
Ja, ich bin einverstanden, dass meine personenbezogenen Daten elektronisch erhoben und gespeichert werden. Meine Daten werden nur zum Zweck der Beantwortung meiner Anfragen verwendet. Die Datenschutzhinweise habe ich zur Kenntnis genommen.
Sie sehen gerade einen Platzhalterinhalt von OpenStreetMap. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Sie müssen den Inhalt von hCaptcha laden, um das Formular abzuschicken. Bitte beachten Sie, dass dabei Daten mit Drittanbietern ausgetauscht werden.
Sie sehen gerade einen Platzhalterinhalt von Google Maps. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.