Aperçu de la sécurité de l'IA et de l'utilisation responsable

Présentation

ISMS Copilot met en œuvre des mesures de sécurité de l'IA complètes pour garantir une assistance fiable, digne de confiance et responsable aux professionnels de la conformité. Cet article explique les garde-fous, les contraintes de sécurité et les pratiques d'IA responsable intégrées à la plateforme.

À qui s'adresse cet article

Cet article s'adresse aux :

• Professionnels de la conformité évaluant les mesures de sécurité de l'IA

• Responsables des risques évaluant les contrôles de gouvernance de l'IA

• Équipes de sécurité concernées par le mauvais usage de l'IA

• Toute personne souhaitant comprendre comment ISMS Copilot garantit une utilisation responsable de l'IA

Principes de sécurité de l'IA

Le cadre de sécurité de l'IA d'ISMS Copilot repose sur quatre principes fondamentaux :

1. Limitation des finalités

L'assistant IA est conçu exclusivement pour les travaux de sécurité de l'information et de conformité :

• Concentré sur les cadres ISMS (ISO 27001, SOC 2, RGPD, NIST, etc.)

• Redirige poliment les questions hors sujet vers des thèmes liés à la conformité

• Refuse les demandes d'activités nuisibles, illégales ou contraires à l'éthique

• Reste dans les limites de l'assistance au conseil en conformité

2. Transparence et honnêteté

L'assistant IA reconnaît ouvertement ses limites :

• Exclut explicitement l'incertitude le cas échéant

• Invite les utilisateurs à vérifier les informations importantes

• Admet quand il ne sait pas quelque chose plutôt que de deviner

• Explique clairement ce qu'il peut et ne peut pas faire

3. Protection du droit d'auteur et de la propriété intellectuelle

ISMS Copilot respecte les droits de propriété intellectuelle :

• Ne reproduira pas les normes ISO protégées par le droit d'auteur ou le contenu propriétaire

• Oriente les utilisateurs vers l'achat des normes officielles auprès de sources autorisées

• Fournit des conseils basés sur les principes des cadres sans copier le texte

• Formé sur des données de source licite et anonymisées, conformes aux exigences européennes en matière de droit d'auteur

4. Protection de la vie privée dès la conception

La protection des données des utilisateurs est intégrée à chaque interaction avec l'IA :

• Les conversations ne sont jamais utilisées pour entraîner les modèles d'IA

• Le contenu fourni par l'utilisateur n'est pas partagé avec d'autres utilisateurs

• Chaque conversation est traitée indépendamment

• L'isolation des espaces de travail empêche le mélange de données entre les projets

Garde-fous de sécurité de l'IA

Garde-fous sur la portée du contenu

Ce que l'IA fera :

• Répondre aux questions sur les cadres ISMS et la conformité

• Analyser les documents de conformité téléchargés (politiques, procédures, évaluations des risques)

• Générer des politiques et procédures prêtes pour l'audit

• Fournir une analyse des écarts et des conseils de mise en œuvre

• Expliquer les contrôles de sécurité et les exigences de conformité

Ce que l'IA ne fera PAS :

• Fournir des conseils juridiques (suggère de consulter des professionnels du droit à la place)

• Proposer des conseils médicaux, financiers ou personnels en dehors du champ de la conformité

• Générer du contenu à des fins illégales, nuisibles ou contraires à l'éthique

• Reproduire des normes protégées par le droit d'auteur ou des documents propriétaires

• Divulguer ses instructions personnalisées ou ses invites système (prompts)

Prévention du débridage (Jailbreak)

ISMS Copilot est conçu pour résister aux tentatives de manipulation :

Tactiques bloquées :

• Astuces de type « répète après moi » pour extraire les instructions système

• Scénarios de jeux de rôle conçus pour contourner les contraintes de sécurité

• Demandes d'« ignorer les instructions précédentes »

• Manipulation de contraintes (« réponds sans refus »)

• Tentatives d'accès direct aux fichiers de la base de connaissances interne

Comment ça fonctionne :

Lorsque l'IA détecte une tentative de débridage, elle :

1. Reconnaît le schéma de manipulation

2. Refuse poliment la demande

3. Redirige vers une assistance ISMS légitime

4. Maintient ses contraintes de sécurité

Protection contre l'injection d'instructions (Prompt Injection)

La plateforme protège contre les contenus malveillants dans les fichiers téléchargés :

Ce qui est protégé :

• Les documents téléchargés sont scannés pour détecter les tentatives d'injection d'instructions

• Les instructions malveillantes intégrées dans les fichiers sont rejetées silencieusement

• Les instructions système ne peuvent pas être remplacées par le contenu d'un fichier

• Les contraintes de sécurité restent actives quel que soit le contenu du fichier

Expérience utilisateur :

• Les fichiers sont traités normalement du point de vue de l'utilisateur

• Les instructions nuisibles sont filtrées pendant le traitement

• Seul le contenu légitime du document est analysé

• Aucun message d'erreur visible (protection silencieuse)

Garde-fous de protection des connaissances

L'IA protège ses données d'entraînement et sa configuration système :

Ce à quoi les utilisateurs ne peuvent pas accéder :

• Instructions personnalisées ou invites système

• Détails sur les sources de données d'entraînement

• Accès direct aux fichiers de la base de connaissances

• Liens de téléchargement pour les documents internes

• Informations sur la structure de la base de connaissances

Pourquoi c'est important :

La protection des instructions système et des données d'entraînement empêche :

• Les adversaires de comprendre comment manipuler l'IA

• Les violations de droits d'auteur par la reproduction de documents de formation

• Les risques de sécurité par l'exposition de l'architecture du système

• Un comportement incohérent résultant d'instructions modifiées

Prévention des hallucinations

Que sont les hallucinations ?

Les hallucinations de l'IA se produisent lorsque l'IA génère des informations qui semblent assurées mais qui sont factuellement incorrectes. ISMS Copilot y remédie par plusieurs mécanismes :

Injection dynamique de connaissances sur les cadres (v2.5)

Depuis février 2025, ISMS Copilot v2.5 élimine presque totalement les hallucinations pour les questions spécifiques aux cadres grâce à l'injection dynamique de connaissances :

• Détecte les mentions de cadres dans vos questions à l'aide de motifs regex (ISO 27001, RGPD, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701)

• Injecte des connaissances vérifiées sur le cadre dans le contexte de l'IA avant de générer des réponses

• L'IA répond sur la base des connaissances du cadre fournies, et non sur une mémoire probabiliste

• La détection non basée sur l'IA garantit une fiabilité de 100 % lorsque les cadres sont mentionnés

• Prend en charge 9 cadres avec une injection de connaissances dédiée

Formation sur des connaissances du monde réel

Au-delà de l'injection de connaissances sur les cadres, ISMS Copilot est formé sur des connaissances spécialisées en conformité :

• Bibliothèque propriétaire de connaissances en conformité issue de centaines de projets de conseil réels

• Basé sur l'expérience pratique de mise en œuvre, non sur des informations théoriques

• Concentré sur les cadres, les normes et les pratiques éprouvées

• Régulièrement mis à jour avec les exigences de conformité actuelles

Reconnaissance de l'incertitude

L'IA est instruite pour être honnête sur ses limites :

• Déclare explicitement lorsqu'elle est incertaine d'une information

• Invite les utilisateurs à vérifier les informations critiques

• Évite d'inventer des faits lorsque les connaissances sont incomplètes

• Suggère de consulter les normes officielles ou des professionnels du droit le cas échéant

Exemple de réponse :

« Bien que je puisse fournir des orientations générales sur le contrôle A.8.1 de l'ISO 27001, je suis toujours susceptible de faire des erreurs. À des fins d'audit, veuillez vérifier ces informations par rapport à la norme officielle ISO 27001:2022. »

Responsabilité de vérification de l'utilisateur

ISMS Copilot souligne que les utilisateurs doivent :

• Recouper les suggestions de l'IA avec les normes officielles

• Valider les informations critiques avant de les soumettre aux auditeurs

• Utiliser l'IA comme l'assistant d'un consultant, et non comme un remplacement de l'expertise

• Exercer un jugement professionnel dans l'application des recommandations de l'IA

Limitation du débit et protection des ressources

Limites de débit des messages

ISMS Copilot met en œuvre une limitation de débit pour éviter les abus et garantir un accès équitable :

Plan gratuit :

• 10 messages par fenêtre glissante de 4 heures

• Le compteur se réinitialise 4 heures après le premier message

• Appliqué au niveau du frontend et du backend

Plan Premium :

• Messages illimités

• Aucune restriction de limite de débit

• Traitement prioritaire

Lorsque la limite de débit est atteinte :

Vous verrez le message d'erreur : « Limite de messages quotidiens atteinte. Veuillez passer à la version premium pour des messages illimités. »

Limites de téléchargement de fichiers

Les téléchargements de fichiers comportent des contraintes de sécurité pour protéger les ressources du système :

Taille de fichier :

• Maximum : 10 Mo par fichier

• Message d'erreur : « Le fichier 'document.pdf' est trop volumineux (15,23 Mo). La taille maximale autorisée est de 10 Mo. »

Types de fichiers pris en charge :

• TXT, CSV, JSON (fichiers texte)

• PDF (documents)

• DOC, DOCX (Microsoft Word)

• XLS, XLSX (Microsoft Excel)

Restrictions de téléchargement :

• Un fichier à la fois (le téléchargement par lot n'est pas pris en charge)

• Impossible de télécharger des fichiers en double pour le même message

• Les types de fichiers non pris en charge sont rejetés avec un message d'erreur

Mode Discussion temporaire

Qu'est-ce que la discussion temporaire ?

Le mode discussion temporaire propose des conversations respectant la vie privée avec une gestion spécifique des données :

Comment ça fonctionne :

1. Sélectionnez « Discussion temporaire » sur l'écran d'accueil

2. Vous verrez l'avis : « Cette discussion n'apparaîtra pas dans l'historique. Pour des raisons de sécurité, nous pouvons conserver une copie de cette discussion pendant 30 jours au maximum. »

3. Envoyez des messages et téléchargez des fichiers normalement

4. La conversation n'est pas ajoutée à votre historique de conversation

5. Les données peuvent être conservées jusqu'à 30 jours pour examen de sécurité

Quand utiliser la discussion temporaire :

• Questions rapides et ponctuelles qui n'ont pas besoin d'être sauvegardées

• Discussions sensibles que vous ne voulez pas voir figurer dans l'historique permanent

• Tester des requêtes avant de s'engager dans un espace de travail

• Recherche exploratoire sur des sujets de conformité

Contrôles de rétention de données

Rétention contrôlée par l'utilisateur

Vous décidez de la durée de conservation de vos données de conversation :

1. Cliquez sur l'icône du menu utilisateur (en haut à droite)

2. Sélectionnez Paramètres

3. Dans le champ Période de rétention des données, choisissez :

   • Minimum : 1 jour (travail de courte durée, haute sécurité)

   • Maximum : 24 955 jours / 7 ans (documentation à long terme)

   • Ou cliquez sur Conserver indéfiniment pour une rétention illimitée

4. Cliquez sur Enregistrer les paramètres

Résultat attendu : La boîte de dialogue des paramètres se ferme et la période de rétention est enregistrée.

Suppression automatique des données

ISMS Copilot supprime automatiquement les anciennes données :

• La tâche de suppression s'exécute quotidiennement

• Supprime les messages plus anciens que votre période de rétention

• Supprime les fichiers téléchargés associés

• Définitif et non récupérable

Fonctionnalités de sécurité de l'espace de travail

Isolation des données

Les espaces de travail fournissent des barrières de sécurité pour différents projets :

Comment fonctionne l'isolation :

• Chaque espace de travail possède un historique de conversation séparé

• Les fichiers téléchargés sont liés à des espaces de travail spécifiques

• Les instructions personnalisées sont spécifiques à l'espace de travail

• La suppression d'un espace de travail supprime toutes les données associées

• L'IA ne partage pas d'informations entre les espaces de travail

Sécurité des instructions personnalisées

Les espaces de travail permettent des instructions personnalisées avec des contraintes de sécurité :

Ce que les instructions personnalisées peuvent faire :

• Spécifier l'accent sur des cadres de conformité particuliers

• Définir le ton ou le niveau de détail des réponses

• Définir le contexte spécifique au projet (secteur, taille de l'organisation)

• Guider l'IA vers des objectifs de conformité spécifiques

Contraintes de sécurité :

• Les instructions personnalisées doivent être liées à la conformité

• Ne peuvent pas remplacer les garde-fous de sécurité fondamentaux

• Ne peuvent pas ordonner à l'IA d'ignorer les protections du droit d'auteur

• Ne peuvent pas contourner les limitations de la portée du contenu

Pas d'entraînement sur les données des utilisateurs

Garantie de confidentialité

ISMS Copilot s'engage à ne jamais utiliser vos données pour l'entraînement de l'IA :

Ce que cela signifie :

• Vos conversations ne sont jamais réinjectées dans le modèle d'IA

• Les documents téléchargés restent confidentiels et privés

• Les informations des clients ne contribuent jamais à l'amélioration du modèle

• Chaque conversation est traitée indépendamment sans apprentissage

Comment cela vous protège :

• La confidentialité des clients est maintenue

• Les informations propriétaires restent privées

• Les données de conformité sensibles ne sont pas partagées avec d'autres utilisateurs

• Aucun risque que l'IA ne révèle accidentellement vos informations à d'autres

Transparence du traitement des données

ISMS Copilot est transparent sur la manière dont vos données sont utilisées :

Comment vos données SONT utilisées :

• Traitement de vos questions pour générer des réponses

• Analyse des documents téléchargés pour l'analyse des écarts

• Maintien du contexte de la conversation au sein d'un espace de travail

• Stockage des données selon vos paramètres de rétention

• Surveillance de sécurité jusqu'à 30 jours (pour prévenir les abus)

Comment vos données ne sont PAS utilisées :

• Entraînement ou réglage fin des modèles d'IA

• Partage avec d'autres utilisateurs ou clients

• À des fins de marketing ou de publicité

• Vente à des tiers

• Divulgation publique ou études de cas (sans autorisation explicite)

Authentification et contrôle d'accès

Exigences d'authentification des utilisateurs

Toutes les interactions avec l'IA nécessitent une authentification :

• Impossible d'envoyer des messages sans être connecté

• Le jeton JWT valide chaque requête API

• Les sessions expirent après une période d'inactivité

• La sécurité au niveau des lignes garantit que les utilisateurs ne voient que leurs propres données

Protection entre utilisateurs

L'isolation au niveau de la base de données empêche tout accès non autorisé :

• Les utilisateurs ne peuvent pas accéder aux conversations des autres utilisateurs

• Toute tentative d'accès aux données d'un autre utilisateur renvoie des résultats vides

• Toutes les requêtes sont automatiquement filtrées par l'ID de l'utilisateur authentifié

• Même les administrateurs suivent le principe du moindre privilège

Meilleures pratiques d'IA responsable

Pour les utilisateurs

Obtenir les meilleurs résultats :

• Posez des questions spécifiques liées aux cadres (ex : « Comment mettre en œuvre le contrôle A.8.1 de l'ISO 27001 ? »)

• Fournissez du contexte sur votre organisation et vos objectifs de conformité

• Téléchargez les documents pertinents pour une analyse des écarts précise

• Examinez et affinez le contenu généré par l'IA avant utilisation

Pratiques de vérification :

• Recoupez les suggestions de l'IA avec les normes officielles

• Validez les informations critiques avec des experts en conformité

• Testez les politiques générées par l'IA dans votre contexte organisationnel

• Utilisez l'IA comme un assistant, non comme un remplacement de l'expertise

Pour les organisations

Pratiques de gouvernance :

• Documentez l'utilisation d'ISMS Copilot dans votre politique de gouvernance de l'IA

• Formez le personnel sur l'utilisation appropriée et les limites

• Définissez des périodes de rétention des données alignées sur vos politiques

• Examinez le contenu généré par l'IA avant toute soumission officielle

• Maintenez une supervision humaine pour les décisions de conformité critiques

Gestion des risques :

• Incluez les outils d'IA dans vos analyses d'impact sur la protection des données (AIPD)

• Documentez les accords de traitement des données avec ISMS Copilot

• Définissez des périodes de rétention appropriées pour les données sensibles

• Utilisez des espaces de travail pour isoler les données de différents clients ou projets

Gouvernance de l'IA en pratique

Au-delà des contraintes de sécurité, nous exploitons nos systèmes d'IA avec une gouvernance sur tout le cycle de vie. Voici comment nos politiques se traduisent en pratiques concrètes :

Processus de développement

Exigences et tests :

• Chaque fonctionnalité d'IA dispose d'exigences documentées couvrant les capacités fonctionnelles, les seuils de performance, les contraintes de sécurité et les normes de gestion des données

• Des tests de régression sont exécutés à chaque modification de code pour valider la précision de l'extraction, l'ancrage des réponses et la détection des hallucinations

• Les tests de sécurité incluent des scans SAST/DAST, des tests d'intrusion annuels et des tests d'injection d'instructions

• Aucun déploiement n'a lieu tant que 100 % des tests de régression ne sont pas réussis et que toutes les vulnérabilités critiques ne sont pas levées

Détails de l'architecture (v2.5, février 2025) :

• Architecture d'injection dynamique de connaissances sur les cadres (remplace l'approche RAG précédente)

• La détection des cadres basée sur regex garantit une identification fiable de l'ISO 27001, SOC 2, RGPD, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701

• Efficacité des jetons : Seule la connaissance du cadre pertinente est chargée (au lieu d'envoyer environ 10 000 jetons à chaque requête)

• Connaissances vérifiées du cadre fournies à l'IA avant la génération de la réponse

• Fournisseurs d'IA configurables (Mistral, xAI, OpenAI) avec des accords de rétention de données nulle

Surveillance et amélioration continue

Ce que nous surveillons :

• Les taux d'hallucinations suivis via les rapports des utilisateurs et la détection automatisée par rapport à une vérité terrain connue

• La précision des réponses échantillonnée et validée par rapport aux normes de conformité officielles

• Les schémas d'utilisation analysés pour détecter les mauvais usages ou les applications non prévues

• Les mesures de performance (temps de réponse, précision de l'extraction, taux d'erreur) mesurées en continu

• Les commentaires des utilisateurs examinés régulièrement pour identifier les risques émergents

Comment la surveillance de l'amélioration :

• Les commentaires des utilisateurs informent les mises à jour des modèles et le réglage de l'extraction

• Les résultats des tests de sécurité guident les améliorations de la sécurité

• Les changements réglementaires et les mises à jour des meilleures pratiques sont reflétés dans la documentation

• Les données de performance guident les améliorations itératives de la précision et de la rapidité

Réponse aux incidents

Comment nous communiquons sur les problèmes :

• Alertes par e-mail pour les incidents critiques affectant les fonctionnalités de l'IA

• Notifications Slack pour les équipes ayant configuré les intégrations

• Mises à jour de la page d'état avec les chronologies des incidents et les résolutions

• Notifications d'alerte précoce conformes à NIS2 (signalement sous 24 heures pour les incidents de cybersécurité significatifs)

Signaler des problèmes de sécurité

Quand signaler

Contactez le support ISMS Copilot si vous rencontrez :

• Des réponses de l'IA qui violent les contraintes de sécurité

• Des hallucinations potentielles ou des informations factuellement incorrectes

• Des violations de droits d'auteur dans la production de l'IA

• Un contenu ou un comportement inapproprié

• Des vulnérabilités de sécurité dans le système d'IA

• Des atteintes à la vie privée ou des fuites de données

Comment signaler

1. Cliquez sur l'icône du menu utilisateur (en haut à droite)

2. Sélectionnez Centre d'aide → Contacter le support

3. Décrivez le problème de sécurité en précisant :

   • La question exacte ou l'instruction que vous avez utilisée

   • La réponse de l'IA (capture d'écran si possible)

   • Pourquoi vous pensez qu'il s'agit d'un problème de sécurité

   • La date et l'heure de l'interaction

4. Le support enquêtera et répondra sous 48 heures

Ce qui se passe après votre signalement

Votre rapport déclenche notre processus de gouvernance :

1. Examen immédiat (sous 48 heures) : L'équipe de support évalue la gravité et l'impact

2. Enquête : L'équipe technique analyse le problème, le reproduit et identifie la cause racine

3. Réponse : Vous recevez une mise à jour sur les conclusions et les actions prévues

4. Remédiation : Les problèmes sont traités par des mises à jour de modèles, un réglage de l'extraction, des corrections de code ou des améliorations de la documentation

5. Amélioration continue : Les leçons apprises sont intégrées dans les processus de test et de surveillance

Limites et contraintes connues

Limites actuelles de l'IA

• Impossible de naviguer sur Internet pour des informations actuelles (utilise une base de connaissances entraînée)

• Impossible d'accéder à des bases de données externes ou à des API en temps réel

• Impossible d'exécuter du code ou de lancer des outils de test de sécurité

• Impossible de passer des appels téléphoniques ou d'envoyer des e-mails en votre nom

• Impossible de garantir une précision à 100 % (vérifiez toujours les informations critiques)

Limites de la portée

• Concentré sur l'ISMS et la conformité (pas une IA polyvalente)

• Impossible de fournir des conseils juridiques, médicaux ou financiers en dehors du contexte de la conformité

• Ne peut pas remplacer les normes officielles ou le jugement d'un auditeur

• Ne peut pas garantir le succès d'un audit (la qualité de la mise en œuvre compte)

Et après ?

• En savoir plus sur les mesures de sécurité des données et de chiffrement

• Comprendre vos droits en matière de protection de la vie privée sous le RGPD

• Configurer des espaces de travail pour l'isolation des données

• Visitez le Trust Center pour une documentation détaillée sur la gouvernance de l'IA

Obtenir de l'aide

Pour des questions sur la sécurité de l'IA et l'utilisation responsable :

• Consultez le Trust Center pour des informations détaillées sur la gouvernance de l'IA

• Contactez le support via le menu du Centre d'aide

• Signalez immédiatement les problèmes de sécurité pour enquête

• Consultez la Page d'état pour connaître les problèmes connus