ISMS Copilot
ISMS Copilot für

Checkliste für die Qualitätssicherung: Überprüfung von KI-Ergebnissen vor der Auslieferung an Kunden

Wenn Sie als Berater den ISMS Copilot nutzen, um Kundenunterlagen wie Richtlinien, Risikobewertungen, Gap-Analysen oder Audit-Vorbereitungen zu erstellen, müssen Sie alle KI-generierten Inhalte vor der Auslieferung prüfen und anpassen. Diese Checkliste stellt professionelle Qualität sicher und schützt sowohl Sie als auch Ihre Kunden.

Liefern Sie KI-generierte Inhalte niemals direkt ohne Prüfung an Kunden aus. Ungeprüfte Ergebnisse können Fehler enthalten, generische Empfehlungen abgeben, die nicht zum Kontext des Kunden passen, oder halluzinierte Informationen enthalten. Sie bleiben fachlich verantwortlich für alle Arbeiten, die Sie abliefern.

Vor der Auslieferung: Obligatorische Prüfungen

1. Abgleich mit offiziellen Standards

Überprüfen Sie jede Control, Anforderung oder Compliance-Aussage anhand der offiziellen Framework-Dokumentation:

  • ISO 27001: Überprüfen Sie Control-Nummern, Anforderungen aus Anhang A und Umsetzungsleitfäden mit der ISO 27001:2022

  • SOC 2: Validieren Sie die Trust Services Criteria anhand der AICPA TSC

  • DSGVO/NIS2/DORA: Bestätigen Sie regulatorische Anforderungen anhand der offiziellen Gesetzestexte

  • NIST CSF: Überprüfen Sie Funktions-/Kategorie-Zuordnungen anhand der offiziellen Dokumentation zum NIST CSF 2.0

Nutzen Sie im ISMS Copilot die Aufforderung „KI bitten, Quellen zu nennen“ und verifizieren Sie diese Quellen anschließend manuell. KI kann Control-Nummern halluzinieren oder Anforderungen aus verschiedenen Frameworks vermischen.

2. Anpassung an den Kundenkontext

KI erstellt generische Entwürfe. Sie müssen diese auf die spezifische Situation Ihres Kunden zuschneiden:

  • Branchenspezifische Risiken: Gesundheitswesen, Finanzen und SaaS stehen vor unterschiedlichen Bedrohungen – stellen Sie sicher, dass Risikobewertungen dies widerspiegeln.

  • Unternehmensgröße: Ein Startup mit 10 Personen benötigt nicht dieselbe ISMS-Struktur wie ein Unternehmen mit 500 Mitarbeitern.

  • Technology Stack: Ersetzen Sie generische Begriffe wie „Cloud-Anbieter“ durch die tatsächlichen Tools des Kunden (AWS, Azure, Google Cloud).

  • Bestehende Maßnahmen: Gleichen Sie KI-Empfehlungen mit den bereits beim Kunden implementierten Controls ab.

  • Regulatorisches Umfeld: Passen Sie die Inhalte an rechtsspezifische Anforderungen an (DSGVO für die EU, CCPA für Kalifornien usw.).

3. Validierung der technischen Richtigkeit

Prüfen Sie, ob die von der KI empfohlenen Maßnahmen technisch fundiert und umsetzbar sind:

  • Funktionieren die empfohlenen Sicherheitskonfigurationen tatsächlich? (Testen Sie Beispielkonfigurationen in einer Testumgebung)

  • Sind die Tool-Empfehlungen aktuell und für den Tech-Stack des Kunden geeignet?

  • Entsprechen die Verfahren zur Reaktion auf Vorfälle den tatsächlichen Systemen und der Teamstruktur des Kunden?

  • Sind Zeitpläne und Ressourcenschätzungen für diesen Kunden realistisch?

4. Prüfung auf Vollständigkeit

Stellen Sie sicher, dass die Ergebnisse den Erwartungen von Auditoren und Zertifizierungsstellen entsprechen:

  • Nachweisanforderungen: Spezifiziert das Dokument, welche Nachweise Auditoren benötigen werden?

  • Rollen und Verantwortlichkeiten: Sind kundenspezifische Rollen (kein generischer „IT-Manager“) zugewiesen?

  • Messkriterien: Sind KPIs und Metriken mit den verfügbaren Daten des Kunden tatsächlich messbar?

  • Fehlende Abschnitte: Gehen Sie die offizielle Framework-Checkliste durch, um Lücken zu finden.

Nutzen Sie die Gap-Analyse-Prompts des ISMS Copiloten für einen Vollständigkeits-Check: „Vergleiche diese [Richtlinie/Verfahren] mit den Anforderungen der ISO 27001 A.5. Was fehlt?“

5. Prüfung auf Halluzinationen

KI kann fälschlicherweise sehr überzeugt wirkende, aber falsche Informationen generieren. Achten Sie auf:

  • Nicht existierende Controls: Überprüfen Sie, ob Control-IDs existieren (z. B. gibt es „ISO 27001 A.8.99“ nicht).

  • Vermischte Frameworks: Die KI vermischt manchmal die Terminologie von SOC 2 und ISO 27001 – trennen Sie diese.

  • Veraltete Referenzen: Prüfen Sie, ob die Framework-Versionen den aktuellen Standards entsprechen (ISO 27001:2022, nicht 2013).

  • Fiktive Tools oder Anbieter: Überprüfen Sie, ob Produktempfehlungen real und aktuell sind.

Siehe Halluzinationen in Compliance-Antworten reduzieren für Erkennungstechniken.

6. Fachliches Urteilsvermögen anwenden

Ihre Expertise ist entscheidend. Fragen Sie sich:

  • Würde ich diese Arbeitsqualität abliefern, wenn ich sie manuell geschrieben hätte?

  • Entspricht dies den professionellen Standards, für die ich bekannt bin?

  • Wird dies einer Überprüfung durch einen Auditor standhalten?

  • Spiegelt dies mein Verständnis des Geschäfts und der Risiken des Kunden wider?

Wenn die Antwort auf eine dieser Fragen „Nein“ lautet, überarbeiten Sie das Dokument vor der Auslieferung.

Workflow für die Qualitätssicherung

Integrieren Sie diese Schritte in Ihren Standard-Auslieferungsprozess:

  1. Erstellen des Entwurfs im ISMS Copilot unter Verwendung eines kundenspezifischen Workspace mit benutzerdefinierten Anweisungen.

  2. Senior Review durch einen qualifizierten Berater (lassen Sie niemals Junior-Mitarbeiter KI-Inhalte ohne Prüfung ausliefern).

  3. Abgleich von Control-Nummern und Anforderungen mit offiziellen Standards.

  4. Anpassung an Kundenkontext, Technologie und Branche.

  5. Technische Validierung durch einen Fachexperten (falls zutreffend).

  6. Abschlussfreigabe nach denselben Kriterien, die Sie für manuell erstellte Arbeiten anwenden würden.

  7. Auslieferung mit gutem Gewissen.

Betrachten Sie KI-Ergebnisse als „Entwürfe eines Junior-Beraters“. Sie beschleunigen Ihre Arbeit, erfordern aber denselben Detailgrad bei Überprüfung und Verfeinerung, den Sie bei jedem Teammitglied anwenden würden.

Offenlegung und Transparenz

Sollten Sie Kunden sagen, dass Sie KI nutzen?

Berücksichtigen Sie diese Faktoren:

  • Kundenverträge: Einige Vereinbarungen erfordern die Offenlegung von Subunternehmern oder Tools – prüfen Sie Ihren Rahmenvertrag (MSA).

  • Regulatorischer Kontext: Die EU-KI-Verordnung (AI Act) erfordert eine Offenlegung, wenn KI Inhalte generiert; dies variiert je nach Rechtraum.

  • Kundenerwartungen: Manche Kunden wünschen sich explizit KI-gestützte Arbeit (oder lehnen diese ab).

  • Berufsstandards: Konsultieren Sie die KI-Leitfäden Ihres Branchenverbandes (falls verfügbar).

Im Zweifelsfall offenlegen. Formulieren Sie es als Workflow-Beschleuniger: „Wir nutzen KI-Tools für die Erstellung erster Entwürfe, die anschließend von unseren Senior-Beratern geprüft, angepasst und gegen offizielle Standards validiert werden.“

Was gegenüber Auditoren offenzulegen ist

Bei der Bereitstellung von Unterlagen zur Audit-Vorbereitung:

  • Sie müssen die Nutzung von KI nicht offenlegen, wenn Sie die Ergebnisse ordnungsgemäß geprüft und angepasst haben.

  • Konzentrieren Sie sich auf die Richtigkeit und Vollständigkeit der Arbeit, nicht auf die verwendeten Werkzeuge.

  • Wenn Sie direkt gefragt werden, seien Sie ehrlich: „Wir haben KI zur Beschleunigung der Dokumentation genutzt, gefolgt von einer vollständigen menschlichen Überprüfung und Validierung.“

Siehe Nutzungsbedingungen für rechtliche Anforderungen.

Was schiefgehen kann (Praxisbeispiele)

Häufige Fehler von Beratern bei KI-generierten Ergebnissen:

  • Generische Richtlinien, die in Audits auffallen: Auditoren erkennen sofort Vorlagen, die nicht angepasst wurden (z. B. „Hier Name Ihrer Organisation einfügen“ oder generische Rollentitel).

  • Unpassende Maßnahmen: Empfehlung von Controls, die der Kunde nicht umsetzen kann (z. B. Enterprise-DLP für ein 5-Personen-Team).

  • Falsche Framework-Versionen: Lieferung von ISO 27001:2013-Inhalten, wenn der Kunde nach 2022 zertifiziert werden möchte.

  • Halluzinierte Nachweise: KI schlägt Nachweis-Artefakte vor, die nicht existieren oder nicht produzierbar sind.

  • Copy-Paste zwischen Kunden: Versehentliches Einfügen vertraulicher Informationen eines anderen Kunden aus einem vorherigen Workspace.

Verwenden Sie für jeden Kunden immer separate Workspaces. Kopieren Sie niemals Inhalte zwischen Kunden-Workspaces ohne gründliche Prüfung. Siehe ISMS Copilot für ISO 27001 Beratungsunternehmen für Best Practices zur Workspace-Isolierung.

Tools zur Unterstützung der Verifizierung

Nutzen Sie diese Funktionen des ISMS Copiloten, um den Prüfaufwand zu verringern:

  • Benutzerdefinierte Anweisungen: Hinterlegen Sie den Kundenkontext vorab, damit die KI von Beginn an relevantere Entwürfe generiert.

  • Follow-up-Prompts: „Prüfe diese Richtlinie auf Vollständigkeit gemäß ISO 27001 A.5“ oder „Welche Nachweise benötigen Auditoren für diese Maßnahme?“

  • Dokumentenupload: Laden Sie bestehende Richtlinien des Kunden hoch, um die Konsistenz mit dessen Dokumentationsstil zu wahren.

  • Gap-Analyse-Modus: Vergleichen Sie KI-Ergebnisse mit offiziellen Anforderungen, um Auslassungen zu finden.

Siehe KI-Modelltests & Validierung für systematische Test-Workflows.

Ihre fachliche Verantwortung

Denken Sie daran:

  • KI ist ein Werkzeug, kein Ersatz für einen Berater.

  • Sie sind rechtlich und fachlich für alle von Ihnen gelieferten Arbeiten verantwortlich, unabhängig davon, wie diese erstellt wurden.

  • Kunden engagieren Sie für Ihre Expertise und Ihr Urteilsvermögen – KI beschleunigt Ihre Arbeit, ersetzt sie aber nicht.

  • Fehlgeschlagene Audits oder Compliance-Lücken aufgrund ungeprüfter KI-Inhalte schädigen Ihren Ruf und Ihre Kundenbeziehungen.

Fragen zu Prüf-Workflows oder zur Qualität von KI-Ergebnissen? Kontaktieren Sie uns unter [email protected] oder lesen Sie ISMS Copilot verantwortungsbewusst nutzen für detaillierte Best Practices.

Weiterführende Ressourcen

War das hilfreich?