Technischer Überblick über das KI-System

Überblick

Dieser Artikel bietet technische Transparenz darüber, wie die KI-Systeme von ISMS Copilot entwickelt, getestet und betrieben werden. Diese Details belegen unser Engagement für eine verantwortungsvolle KI-Entwicklung durch nachprüfbare Implementierungspraktiken.

Zielgruppe

Dieser Artikel richtet sich an:

• Sicherheits- und Compliance-Teams, die KI-Governance-Kontrollen bewerten

• Auditoren, welche die Implementierung von KI-Systemen gegen Richtlinien prüfen

• Risikomanager, die technische Transparenz für KI-Systeme benötigen

• Technische Anwender, die die KI-Architektur verstehen möchten

ISO 42001 Implementierung

Das KI-System von ISMS Copilot wird in Übereinstimmung mit den Anforderungen der ISO 42001:2023 (Managementsystem für Künstliche Intelligenz) entwickelt und betrieben. Unsere technische Implementierung ist spezifischen ISO 42001-Kontrollen zugeordnet:

Ausrichtung der Architektur:

• A.4.2 (Kontextfestlegung): System zur dynamischen Injektion von Framework-Wissen, dokumentiert im AI System Design Document (AI-SDD-001)

• A.5 (Folgenabschätzung): Umfassende KI-Folgenabschätzung (1.9 Niedriges Risiko, EU-KI-Gesetz Einstufung als begrenztes Risiko)

• A.6 (Verantwortungsbewusste Entwicklung): Sicherer Entwicklungslebenszyklus mit Regressionstests, SAST/DAST-Scans und Prompt-Injection-Tests

• A.7 (Datenmanagement): Zero Data Retention-Vereinbarungen, Workspace-Isolierung und benutzerdefinierte Aufbewahrungsfristen

• A.8 (Benutzerinteraktion): Transparenzhinweise, Human-in-the-Loop-Design und Verifizierungshinweise auf der gesamten Plattform

• A.9 (Verantwortungsvolle Nutzung): Zweckbindung, Jailbreak-Prävention und Leitplanken für den Inhaltsumfang

Architektur zur dynamischen Wissensinjektion

ISMS Copilot verwendet dynamische Wissensinjektion, um KI-Antworten auf verifiziertem Compliance-Wissen zu basieren. Seit Version 2.5 (Februar 2025) ersetzt dies die vorherige RAG-Architektur (Retrieval-Augmented Generation) durch einen zuverlässigeren und Token-effizienteren Ansatz.

Funktionsweise der Wissensinjektion

Architektur-Komponenten:

• Framework-Erkennungsebene: Regex-basiertes Pattern Matching erkennt Framework-Erwähnungen in Benutzeranfragen (ISO 27001, SOC 2, DSGVO, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU-KI-Gesetz)

• Wissensinjektionsebene: Lädt dynamisch nur relevantes Framework-Wissen basierend auf den erkannten Regelwerken in den KI-Kontext

• Generierungsebene: Large Language Models (LLMs) von Enterprise-KI-Anbietern erhalten das Framework-Wissen, bevor sie Antworten generieren

• Validierungsmechanismus: Das der KI bereitgestellte Framework-Wissen stellt sicher, dass Antworten auf tatsächlichen Compliance-Anforderungen basieren und nicht auf probabilistischen Schätzungen

Warum dynamische Injektion für Compliance wichtig ist:

• Eliminiert Halluzinationen: Die KI erhält verifiziertes Wissen vor der Antwort, was erfundene Kontrollnummern und Anforderungen verhindert

• Token-Effizienz: Nur relevante Frameworks werden geladen (~1-2K Token) statt das gesamte Wissen (~10K Token) bei jeder Anfrage zu senden

• Zuverlässige Erkennung: Regex-Pattern-Matching (nicht KI-basiert) stellt sicher, dass Framework-Erwähnungen niemals übersehen werden

• Erweiterbare Architektur: Neue Frameworks können über eine einfache Objektdefinition hinzugefügt werden, ohne dass ein Modell-Retraining erforderlich ist

• Unterstützung mehrerer Frameworks: Verarbeitet Anfragen, die mehrere Frameworks gleichzeitig erwähnen (z. B. \"Mappe ISO 27001 auf SOC 2\")

Technische Implementierung

Erkennungsprozess:

1. Benutzer sendet Anfrage (z. B. \"Was ist ISO 27001 Annex A.5.9?\")

2. Die Framework-Erkennung scannt die Anfrage nach Pattern-Matches (ISO 27001, DSGVO, SOC 2, etc.)

3. Gefundene Frameworks lösen die Wissensinjektion aus

4. Relevantes Framework-Wissen wird vor der Generierung zum System-Prompt der KI hinzugefügt

Unterstützte Frameworks (v2.5):

• ISO 27001:2022 — Informationssicherheits-Managementsystem

• ISO 42001:2023 — Managementsystem für Künstliche Intelligenz

• ISO 27701:2025 — Datenschutz-Managementsystem

• SOC 2 — Service Organization Control (Trust Services Criteria)

• HIPAA — Health Insurance Portability and Accountability Act

• DSGVO — Datenschutz-Grundverordnung

• CCPA — California Consumer Privacy Act

• NIS 2 — Netzwerk- und Informationssicherheits-Richtlinie

• DORA — Digital Operational Resilience Act

• EU AI Act — Gesetz über künstliche Intelligenz der Europäischen Union

Evolution von RAG zu dynamischer Injektion

Bisheriger Ansatz (vor v2.5): RAG-Architektur

• Semantische Suche rief relevante Dokumentationsausschnitte ab

• Die Qualität des Abrufs variierte je nach Formulierung der Anfrage

• Bei vielen Anfragen wurden die gesamten ~10K Token an Wissen gesendet

• Fokus primär auf ISO 27001

Aktueller Ansatz (v2.5+): Dynamische Framework-Injektion

• Regex-basierte Erkennung sichert zuverlässige Framework-Identifikation

• Nur relevante Frameworks werden geladen (Token-effizient)

• Unterstützt 10 Frameworks gleichzeitig

• Erweiterbares Design für schnelle Framework-Ergänzungen

KI-Anbieter & Datenschutz

Wir nutzen Enterprise-KI-Anbieter mit strengen Datenschutzvereinbarungen.

Aktuelle Anbieter

Backend-KI-Modelle:

• Anthropic Claude (Standard) — Chat-Antworten und Compliance-Analysen

• xAI Grok — Dokumentenerstellung und Formatierung

• OpenAI GPT — Erkennung (Identifizierung und Analyse von Dokumententypen)

• Mistral AI — EU-basierter Anbieter für den erweiterten Datenschutzmodus

Anthropic Claude ist der Standardanbieter für Chat-Konversationen, mit automatischem Failover zu OpenAI, falls Anthropic Ausfälle hat. xAI Grok übernimmt die Dokumentenerstellung und Formatierung, während OpenAI GPT für Erkennungsaufgaben genutzt wird. Wenn der erweiterte Datenschutz aktiviert ist, wechseln alle Vorgänge zu Mistral AI (EU-basiert). Alle Modelle greifen über die dynamische Injektion auf dieselbe spezialisierte Compliance-Wissensdatenbank zu, was konsistente und zuverlässige Ergebnisse garantiert.

Zero Data Retention Vereinbarungen

Alle KI-Anbieter arbeiten unter Zero Data Retention (ZDR) Vereinbarungen:

ZDR-Vertragsbedingungen:

• Keine Speicherung von Nutzerdaten über die Bearbeitung der Anfrage hinaus

• Kein Modelltraining mit Kundeninhalten

• DSGVO-konforme Datentransfers mit Standardvertragsklauseln (SCCs)

• Durchsetzung von Sicherheitsstandards auf Enterprise-Niveau

Detaillierte Informationen zu Auftragsverarbeitern und Datenflüssen finden Sie in unserem Verzeichnis der Verarbeitungstätigkeiten.

Entwicklungsanforderungen

Jede Komponente des KI-Systems wird gegen dokumentierte Anforderungen entwickelt, die das erwartete Verhalten, Sicherheitsbeschränkungen und Leistungsschwellen definieren.

Funktionale Anforderungen

Definition des Anwendungsbereichs:

• Die KI bietet Unterstützung bei der Compliance, keine Rechtsberatung

• Aufgabengrenzen: Richtlinienerstellung, Gap-Analyse, Audit-Vorbereitung, Dokumentenprüfung

• Erzwingung von Beschränkungen: kein Internetzugang, keine Code-Ausführung, keine Verarbeitung personenbezogener Daten über die Plattformnutzung hinaus

Leistungsanforderungen

Qualitätsziele:

• Antwortgenauigkeit basierend auf abgerufenen Quellen mit Quellenangabe

• Kontextfenster ausreichend für die Compliance-Analyse mehrerer Dokumente

• Antwortzeit optimiert für interaktive Nutzung (Ziel: unter 10 Sekunden)

• Definierte Rate-Limits pro Nutzertier, um die Systemstabilität zu gewährleisten

Sicherheitsanforderungen

Minderung von Halluzinationen:

• Quellenbasierung: Antworten müssen sich auf abgerufene Dokumente beziehen

• Validierung des Abrufs: Antworten werden gegen den Quellinhalt geprüft

• Konfidenzbewertung: Unsicherheit wird eingestanden, wenn Quellen zweideutig sind

• Haftungsausschluss zur Benutzerverifizierung: Alle Ausgaben erfordern eine menschliche Überprüfung

Inhaltsfilterung:

• Erkennung und Blockierung unangemessener Inhalte

• Bereichsgrenzen: Die KI lehnt Anfragen außerhalb des Bereichs ab (z. B. nicht verwandte Themen, medizinische/rechtliche Beratung)

• Schutz vor Jailbreak und Prompt Injection

Siehe "Übersicht über KI-Sicherheit & verantwortungsvolle Nutzung" für detaillierte Sicherheitsleitplanken.

Anforderungen an die Datenverarbeitung

Privacy by Design:

• Keine Nutzerdaten für Modelltraining (ZDR-Vereinbarungen erzwungen)

• Datenminimierung: Nur notwendige Daten werden für Abruf und Generierung verarbeitet

• Temporäre Verarbeitung: Keine langfristige Speicherung von Prompts/Antworten über die Sitzungsprotokolle hinaus

• Aufbewahrungskontrollen: Benutzerkonfigurierbare Aufbewahrungsfristen (1 Tag bis 7 Jahre oder dauerhaft)

• Transferkontrollen: DSGVO-konforme Datentransfers mit SCCs

Umfassende Praktiken zur Datenverarbeitung finden Sie in unserer Datenschutzrichtlinie.

Verifizierungs- & Validierungstests

KI-Systeme werden vor der Bereitstellung strengen Tests unterzogen. Kein System geht live, ohne die anforderungsbasierte Validierung bestanden zu haben.

Regressionstests

Automatisierte Tests laufen bei jeder Codeänderung, um sicherzustellen, dass bestehende Funktionen intakt bleiben.

Testabdeckung:

• Abrufgenauigkeit: Präzision und Recall gegen Ground-Truth-Datensätze

• Antwort-Grounding: Verifizierung, dass Ausgaben die abgerufenen Quellen zitieren

• Halluzinationserkennung: Abgleich mit bekannten inkorrekten Antworten

• Leistungsbenchmarks: Validierung von Antwortzeit und Kontextverarbeitung

Sicherheitstests

KI-Systeme durchlaufen dieselbe Sicherheitsvalidierung wie alle anderen Plattformkomponenten.

Testing-Pipeline:

• SAST (Static Application Security Testing): Schwachstellenscan auf Code-Ebene mit Semgrep-Integration

• DAST (Dynamic Application Security Testing): Sicherheitsvalidierung zur Laufzeit

• Penetrationstests: Jährliche Sicherheitsbewertungen durch Dritte

• Prompt-Injection-Tests: Validierung gegen gegnerische Eingaben, die versuchen, Sicherheitsbeschränkungen zu umgehen

User Acceptance Testing (UAT)

Die Validierung in realen Szenarien mit Compliance-Experten stellt Folgendes sicher:

• Ausgaben entsprechen professionellen Qualitätsstandards

• Antworten sind für Compliance-Anwendungsfälle angemessen

• Einschränkungen werden klar kommuniziert

• Feedback-Mechanismen sind zugänglich und effektiv

Checkliste für die Deployment-Validierung

KI-Systeme werden erst bereitgestellt, wenn sie dokumentierte Anforderungen erfüllen:

Bereitstellungen, welche die Validierung nicht bestehen, werden zurückgerollt, bis die Anforderungen erfüllt sind.

Überwachung & Kontinuierliche Verbesserung

Nach dem Deployment überwachen wir das Verhalten des KI-Systems, um Verschlechterungen, aufkommende Probleme oder Missbrauch zu erkennen.

Kennzahlen zur Überwachung

Was wir tracken:

• Halluzinationsrate: Verfolgt durch Benutzerberichte und automatisierte Erkennung

• Antwortgenauigkeit: Stichprobenartige Validierung gegen Ground-Truth-Compliance-Standards

• Nutzungsmuster: Erkennung von systemfremder oder unangemessener Nutzung

• Leistungskennzahlen: Antwortzeit, Abrufpräzision, Fehlerraten

• Benutzer-Feedback: Berichte über nachteilige Auswirkungen, Support-Tickets, Feature-Anfragen

Zyklus der kontinuierlichen Verbesserung

Überwachungsdaten fließen in iterative Verbesserungen ein:

Feedback-Schleifen:

• Nutzerfeedback und Berichte über Fehler → Modell-Updates und Tuning des Abrufs

• Ergebnisse von Sicherheitstests → Sicherheitsverbesserungen und Kontroll-Updates

• Regulatorische Änderungen und Best Practices → Dokumentations- und Framework-Updates

• Leistungsüberwachung → Genauigkeitsverbesserungen und Antwortoptimierung

Reaktion auf Vorfälle (Incident Response)

Wir benachrichtigen Nutzer über KI-bezogene Vorfälle, um Transparenz und Vertrauen zu wahren.

Benachrichtigungskanäle:

• E-Mail-Benachrichtigungen bei kritischen Vorfällen, welche die KI-Funktionalität beeinträchtigen

• Slack-Benachrichtigungen für abonnierte Teams

• Status-Seite Updates mit Zeitplänen für Vorfälle und deren Behebung

• NIS2-konforme Frühwarnmeldungen (24-Stunden-Berichterstattung für signifikante Cybersicherheitsvorfälle)

Bekannte Einschränkungen

KI-Systeme haben inhärente Einschränkungen, die Nutzer verstehen müssen, um sie verantwortungsvoll einzusetzen.

Technische Einschränkungen

Aktuelle Beschränkungen:

• Probabilistische Natur: KI generiert Antworten auf Basis statistischer Muster, nicht durch deterministische Logik

• Kein Internetzugang: Die KI kann keine Echtzeitinformationen abrufen oder auf externe Websites zugreifen

• Keine Code-Ausführung: Die KI kann keine Berechnungen durchführen, Skripte ausführen oder technische Implementierungen validieren

• Wissensstand (Cutoff): Das Wissen des KI-Modells ist auf das Datum der Trainingsdaten begrenzt (variiert je nach Anbieter)

• Kontextlimits: Das maximale Kontextfenster begrenzt die Informationsmenge, die in einer einzelnen Anfrage verarbeitet werden kann

• Fachbereichsgrenzen: Die KI ist für Compliance/Sicherheit trainiert; die Leistung in anderen Bereichen ist nicht garantiert

Detaillierte Einschränkungen und Workarounds finden Sie auf unserer Seite für bekannte Probleme.

Verantwortung des Nutzers zur Verifizierung

ISMS Copilot ist als Unterstützung gedacht, nicht als Ersatz für professionelles Urteilsvermögen:

• Gleichen Sie KI-Vorschläge mit offiziellen Standards ab

• Validieren Sie kritische Informationen vor der Einreichung bei Auditoren

• Nutzen Sie die KI als Assistenten eines Beraters, nicht als Ersatz für Fachwissen

• Wenden Sie professionelles Urteilsvermögen bei der Anwendung von KI-Empfehlungen an

Siehe "So nutzen Sie ISMS Copilot verantwortungsvoll" für Best Practices zur Verifizierung.

Berichterstattung & Feedback

Benutzerfeedback ist entscheidend für die Verbesserung des KI-Systems. Wir bieten mehrere Mechanismen zur Meldung von Problemen, Ungenauigkeiten oder unerwartetem Verhalten.

So melden Sie Probleme

Nachteilige Auswirkungen oder Halluzinationen:

1. Navigieren Sie zum Benutzermenü (oben rechts) > Hilfe-Center > Support kontaktieren

2. Fügen Sie Prompt, Antwort und Screenshots in Ihren Bericht ein

3. Erwarten Sie eine Antwort innerhalb von 48 Stunden

In-Plattform Berichterstattung:

• Nutzen Sie die Schaltfläche "Problem melden", die auf der gesamten Plattform verfügbar ist, um spezifische KI-Antworten zu kennzeichnen

Was nach Ihrer Meldung passiert

1. Sofortige Prüfung (innerhalb von 48 Stunden): Das Support-Team bewertet Schweregrad und Auswirkungen

2. Untersuchung: Das technische Team analysiert das Problem, reproduziert den Fehler und identifiziert die Ursache

3. Antwort: Sie erhalten ein Update zu den Ergebnissen und geplanten Maßnahmen

4. Behebung: Probleme werden durch Modell-Updates, Abruf-Tuning, Code-Fixes oder Dokumentationsverbesserungen behoben

5. Kontinuierliche Verbesserung: Gelernte Lektionen werden in Test- und Monitoringprozesse integriert

Siehe "Übersicht über KI-Sicherheit & verantwortungsvolle Nutzung" für detaillierte Meldeanweisungen.

Aktualisierungen der Dokumentation

Technische Spezifikationen werden aktualisiert, wenn:

• KI-Anbieter sich ändern (neue Modelle, veraltete APIs)

• Die Architektur sich weiterentwickelt (neue Komponenten, Validierungsmethoden)

• Anforderungen revidiert werden (neue Sicherheitsbeschränkungen, Leistungsziele)

• Testpraktiken erweitert werden (neue Validierungstechniken, Sicherheitstools)

Updates werden über Release Notes und diese Dokumentationsseite kommuniziert. Abonnieren Sie unsere Status-Seite für Änderungsbenachrichtigungen.

Nächste Schritte

• Prüfen Sie, wie ISMS Copilot die ISO 42001 implementiert

• Erfahren Sie mehr über KI-Sicherheitsleitplanken und verantwortungsvolle Nutzungspraktiken

• Verstehen Sie KI-Halluzinationen und wie man sie verhindert

• Befolgen Sie Best Practices für die verantwortungsvolle Nutzung von ISMS Copilot

• Prüfen Sie unsere umfassenden Sicherheitsrichtlinien

Hilfe erhalten

Bei technischen Fragen zu KI-Systemspezifikationen oder zur Anforderung zusätzlicher Dokumentation:

• Kontaktieren Sie den Support über das Hilfe-Center-Menü

• Melden Sie Sicherheitsbedenken umgehend zur Untersuchung

• Besuchen Sie das Trust Center für detaillierte Informationen zur KI-Governance

• Prüfen Sie die Status-Seite auf bekannte Probleme