Aperçu de la sécurité de l'IA et de son utilisation responsable

Présentation

ISMS Copilot met en œuvre des mesures de sécurité IA complètes pour garantir une assistance fiable, digne de confiance et responsable aux professionnels de la conformité. Cet article explique les garde-fous, les contraintes de sécurité et les pratiques d'IA responsable intégrées à la plateforme.

À qui s'adresse cet article

Cet article est destiné aux :

• Professionnels de la conformité évaluant les mesures de sécurité de l'IA

• Gestionnaires de risques évaluant les contrôles de gouvernance de l'IA

• Équipes de sécurité concernées par l'utilisation malveillante de l'IA

• Toute personne souhaitant comprendre comment ISMS Copilot garantit une utilisation responsable de l'IA

Principes de sécurité de l'IA

Le cadre de sécurité de l'IA de ISMS Copilot repose sur quatre principes fondamentaux :

1. Limitation de la finalité

L'assistant IA est conçu exclusivement pour les travaux de sécurité de l'information et de conformité :

• Concentré sur les référentiels ISMS (ISO 27001, SOC 2, RGPD, NIST, etc.)

• Redirige poliment les questions hors sujet vers des thèmes liés à la conformité

• Refuse les demandes d'activités nuisibles, illégales ou contraires à l'éthique

• Reste dans les limites de l'assistance au conseil en conformité

2. Transparence et honnêteté

L'assistant IA reconnaît ouvertement ses limites :

• Décline explicitement son incertitude lorsque cela est approprié

• Invite les utilisateurs à vérifier les informations importantes

• Admet quand il ne sait pas quelque chose plutôt que de deviner

• Explique clairement ce qu'il peut et ne peut pas faire

3. Protection du droit d'auteur et de la propriété intellectuelle

ISMS Copilot respecte les droits de propriété intellectuelle :

• Ne reproduira pas les normes ISO protégées par le droit d'auteur ou les contenus propriétaires

• Oriente les utilisateurs vers l'achat des normes officielles auprès de sources autorisées

• Fournit des conseils basés sur les principes des référentiels sans copier le texte

• Entraîné sur des données de source licite et anonymisées, conformes aux exigences européennes en matière de droit d'auteur

4. Confidentialité dès la conception (Privacy by Design)

La protection des données des utilisateurs est intégrée à chaque interaction avec l'IA :

• Les conversations ne sont jamais utilisées pour entraîner les modèles d'IA

• Le contenu fourni par l'utilisateur n'est pas partagé avec d'autres utilisateurs

• Chaque conversation est traitée indépendamment

• L'isolation des espaces de travail empêche le mélange de données entre les projets

Garde-fous de sécurité de l'IA

Garde-fous sur le périmètre du contenu

Ce que l'IA fera :

• Répondre aux questions sur les référentiels ISMS et la conformité

• Analyser les documents de conformité téléchargés (politiques, procédures, évaluations des risques)

• Générer des politiques et procédures prêtes pour l'audit

• Fournir des analyses d'écarts et des conseils de mise en œuvre

• Expliquer les contrôles de sécurité et les exigences de conformité

Ce que l'IA ne fera PAS :

• Fournir des conseils juridiques (suggère de consulter des professionnels du droit à la place)

• Offrir des conseils médicaux, financiers ou personnels en dehors du champ de la conformité

• Générer du contenu à des fins illégales, nuisibles ou contraires à l'éthique

• Reproduire des normes protégées par le droit d'auteur ou des documents propriétaires

• Divulguer ses instructions personnalisées ou ses prompts système

Prévention du Jailbreak

ISMS Copilot est conçu pour résister aux tentatives de manipulation :

Tactiques bloquées :

• Astuces de type « répète après moi » pour extraire les prompts système

• Scénarios de jeu de rôle conçus pour contourner les contraintes de sécurité

• Requêtes de type « ignorez les instructions précédentes »

• Manipulation de contraintes (« répondez sans message de refus »)

• Tentatives d'accéder directement aux fichiers de la base de connaissances interne

Comment ça fonctionne :

Lorsque l'IA détecte une tentative de jailbreak, elle :

1. Reconnaît le schéma de manipulation

2. Refuse poliment la requête

3. Redirige vers une assistance ISMS légitime

4. Maintient ses contraintes de sécurité

Protection contre l'injection de prompt

La plateforme protège contre le contenu malveillant dans les téléchargements de fichiers :

Ce qui est protégé :

• Les documents téléchargés sont scannés pour détecter les tentatives d'injection de prompt

• Les instructions malveillantes intégrées dans les fichiers sont rejetées silencieusement

• Les prompts système ne peuvent pas être outrepassés via le contenu d'un fichier

• Les contraintes de sécurité restent actives quel que soit le contenu du fichier

Expérience utilisateur :

• Les fichiers sont traités normalement du point de vue de l'utilisateur

• Les instructions nuisibles sont filtrées pendant le traitement

• Seul le contenu légitime du document est analysé

• Aucun message d'erreur visible (protection silencieuse)

Garde-fous de protection des connaissances

L'IA protège ses données d'entraînement et sa configuration système :

Ce à quoi les utilisateurs ne peuvent pas accéder :

• Instructions personnalisées ou prompts système

• Détails sur les sources des données d'entraînement

• Accès direct aux fichiers de la base de connaissances

• Liens de téléchargement pour les documents internes

• Informations sur la structure de la base de connaissances

Pourquoi c'est important :

La protection des prompts système et des données d'entraînement empêche :

• Les adversaires de comprendre comment manipuler l'IA

• Les violations de droits d'auteur par la reproduction de documents d'entraînement

• Les risques de sécurité liés à l'exposition de l'architecture système

• Les comportements incohérents résultant d'instructions modifiées

Prévention des hallucinations

Que sont les hallucinations ?

Les hallucinations de l'IA se produisent lorsque l'IA génère des informations qui semblent assurées mais qui sont factuellement incorrectes. ISMS Copilot y répond par plusieurs mécanismes :

Injection dynamique de connaissances sur les référentiels (v2.5)

Depuis février 2025, ISMS Copilot v2.5 élimine presque totalement les hallucinations pour les questions spécifiques aux référentiels grâce à l'injection dynamique de connaissances :

• Détecte les mentions de référentiels dans vos questions à l'aide d'une correspondance par expressions régulières (ISO 27001, RGPD, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU AI Act)

• Injecte des connaissances vérifiées sur le référentiel dans le contexte de l'IA avant de générer des réponses

• L'IA répond sur la base des connaissances fournies, et non sur une mémoire probabiliste

• La détection non basée sur l'IA garantit une fiabilité de 100 % lorsque les référentiels sont mentionnés

• Prend en charge 10 référentiels avec injection de connaissances dédiée

Entraînement sur des connaissances du monde réel

Au-delà de l'injection de connaissances sur les référentiels, ISMS Copilot est entraîné sur des connaissances spécialisées en conformité :

• Bibliothèque propriétaire de connaissances en conformité issues de centaines de projets de conseil réels

• Basé sur l'expérience pratique de mise en œuvre, pas sur des informations théoriques

• Concentré sur les cadres, les normes et les pratiques éprouvées

• Régulièrement mis à jour avec les exigences de conformité actuelles

Reconnaissance de l'incertitude

L'IA a pour instruction d'être honnête sur ses limites :

• Indique explicitement quand elle est incertaine d'une information

• Invite les utilisateurs à vérifier les informations critiques

• Évite d'inventer des faits lorsque les connaissances sont incomplètes

• Suggère de consulter les normes officielles ou des professionnels du droit le cas échéant

Exemple de réponse :

« Bien que je puisse fournir des conseils généraux sur le contrôle A.8.1 de l'ISO 27001, je suis toujours susceptible de faire des erreurs. À des fins d'audit, veuillez vérifier cette information par rapport à la norme officielle ISO 27001:2022. »

Responsabilité de vérification de l'utilisateur

ISMS Copilot souligne que les utilisateurs doivent :

• Recouper les suggestions de l'IA avec les normes officielles

• Valider les informations critiques avant de les soumettre aux auditeurs

• Utiliser l'IA comme l'assistant d'un consultant, et non comme un remplaçant de l'expertise

• Exercer leur jugement professionnel dans l'application des recommandations de l'IA

Limitation du débit et protection des ressources

Limites de messages

ISMS Copilot met en œuvre une limitation du débit pour prévenir les abus et garantir un accès équitable :

Plan gratuit :

• 10 messages par fenêtre glissante de 4 heures

• Le compteur se réinitialise 4 heures après le premier message

• Appliqué au niveau du frontend et du backend

Plans payants (Plus, Standard, Pro, Business) :

• Plus de crédits par session (50 à 400 selon le plan)

• Aucune restriction de limitation de débit

• Traitement prioritaire

Lorsque la limite de débit est atteinte :

Vous verrez le message d'erreur suivant : « Limite de messages quotidienne atteinte. Veuillez passer à un forfait supérieur pour obtenir plus de crédits par session. »

Limites de téléchargement de fichiers

Les téléchargements de fichiers comportent des contraintes de sécurité pour protéger les ressources système :

Taille de fichier :

• Maximum : 10 Mo par fichier

• Message d'erreur : « Le fichier 'document.pdf' est trop volumineux (15,23 Mo). La taille maximale autorisée est de 10 Mo. »

Types de fichiers pris en charge :

• TXT, CSV, JSON (fichiers texte)

• PDF (documents)

• DOC, DOCX (Microsoft Word)

• XLS, XLSX (Microsoft Excel)

Restrictions de téléchargement :

• Un seul fichier à la fois (le téléchargement par lot n'est pas pris en charge)

• Impossible de télécharger des fichiers en double pour le même message

• Les types de fichiers non pris en charge sont rejetés avec un message d'erreur

Mode Discussion Temporaire

Qu'est-ce que la discussion temporaire ?

Le mode discussion temporaire propose des conversations préservant la confidentialité avec un traitement spécifique des données :

Comment ça fonctionne :

1. Sélectionnez « Discussion temporaire » sur l'écran d'accueil

2. Vous verrez l'avis : « Cette discussion n'apparaîtra pas dans l'historique. Pour des raisons de sécurité, nous pouvons conserver une copie de cette discussion jusqu'à 30 jours. »

3. Envoyez des messages et téléchargez des fichiers normalement

4. La conversation n'est pas ajoutée à votre historique de conversations

5. Les données peuvent être conservées jusqu'à 30 jours pour examen de sécurité

Quand utiliser la discussion temporaire :

• Questions rapides et ponctuelles n'ayant pas besoin d'être sauvegardées

• Discussions sensibles que vous ne souhaitez pas voir dans l'historique permanent

• Tester des requêtes avant de s'engager dans un espace de travail

• Recherche exploratoire sur des sujets de conformité

Contrôles de rétention des données

Rétention contrôlée par l'utilisateur

Vous décidez de la durée de stockage de vos données de conversation :

1. Cliquez sur l'icône du menu utilisateur (en haut à droite)

2. Sélectionnez Paramètres

3. Dans le champ Période de rétention des données, choisissez :

   • Minimum : 1 jour (travail à haute sécurité, court terme)

   • Maximum : 24 955 jours / 7 ans (documentation à long terme)

   • Ou cliquez sur Conserver indéfiniment pour une rétention illimitée

4. Cliquez sur Enregistrer les paramètres

Résultat attendu : La boîte de dialogue des paramètres se ferme et la période de rétention est enregistrée.

Suppression automatique des données

ISMS Copilot supprime automatiquement les anciennes données :

• La tâche de suppression s'exécute quotidiennement

• Supprime les messages plus anciens que votre période de rétention

• Supprime les fichiers téléchargés associés

• Permanent et impossible à récupérer

Fonctionnalités de sécurité de l'espace de travail

Isolation des données

Les espaces de travail offrent des frontières de sécurité pour différents projets :

Comment fonctionne l'isolation :

• Chaque espace de travail a son propre historique de conversations

• Les fichiers téléchargés sont liés à des espaces de travail spécifiques

• Les instructions personnalisées sont propres à chaque espace de travail

• La suppression d'un espace de travail supprime toutes les données associées

• L'IA ne partage pas d'informations entre les espaces de travail

Sécurité des instructions personnalisées

Les espaces de travail permettent des instructions personnalisées avec des contraintes de sécurité :

Ce que les instructions personnalisées peuvent faire :

• Spécifier la concentration sur des référentiels de conformité particuliers

• Définir le ton ou le niveau de détail des réponses

• Définir le contexte spécifique au projet (secteur d'activité, taille de l'organisation)

• Guider l'IA vers des objectifs de conformité spécifiques

Contraintes de sécurité :

• Les instructions personnalisées doivent être liées à la conformité

• Ne peuvent pas outrepasser les garde-fous de sécurité fondamentaux

• Ne peuvent pas ordonner à l'IA d'ignorer les protections du droit d'auteur

• Ne peuvent pas contourner les limitations du périmètre du contenu

Pas d'entraînement sur les données utilisateur

Garantie de confidentialité

ISMS Copilot s'engage à ne jamais utiliser vos données pour l'entraînement de l'IA :

Ce que cela signifie :

• Vos conversations ne sont jamais réinjectées dans le modèle d'IA

• Les documents téléchargés restent confidentiels et privés

• Les informations des clients ne contribuent jamais à l'amélioration du modèle

• Chaque conversation est traitée indépendamment sans apprentissage

Comment cela vous protège :

• La confidentialité des clients est maintenue

• Les informations propriétaires restent privées

• Les données de conformité sensibles ne sont pas partagées avec d'autres utilisateurs

• Aucun risque que l'IA ne révèle accidentellement vos informations à des tiers

Transparence du traitement des données

ISMS Copilot est transparent sur l'utilisation de vos données :

Comment vos données SONT utilisées :

• Traitement de vos questions pour générer des réponses

• Analyse des documents téléchargés pour l'analyse des écarts

• Maintien du contexte de la conversation au sein d'un espace de travail

• Stockage des données selon vos paramètres de rétention

• Surveillance de la sécurité jusqu'à 30 jours (pour prévenir les abus)

Comment vos données NE SONT PAS utilisées :

• Entraînement ou réglage fin (fine-tuning) des modèles d'IA

• Partage avec d'autres utilisateurs ou clients

• Fins de marketing ou de publicité

• Vente à des tiers

• Divulgation publique ou études de cas (sans autorisation explicite)

Authentification et contrôle d'accès

Exigences d'authentification des utilisateurs

Toutes les interactions avec l'IA nécessitent une authentification :

• Impossible d'envoyer des messages sans être connecté

• Un jeton JWT valide chaque requête API

• Les sessions expirent après une période d'inactivité

• La sécurité au niveau des lignes garantit que les utilisateurs ne voient que leurs propres données

Protection entre utilisateurs

L'isolation au niveau de la base de données empêche tout accès non autorisé :

• Les utilisateurs ne peuvent pas accéder aux conversations des autres utilisateurs

• Toute tentative d'accéder aux données d'un autre utilisateur renvoie des résultats vides

• Toutes les requêtes filtrent automatiquement par l'ID de l'utilisateur authentifié

• Même les administrateurs suivent le principe du moindre privilège

Meilleures pratiques pour une IA responsable

Pour les utilisateurs

Obtenir les meilleurs résultats :

• Posez des questions spécifiques liées aux référentiels (ex : « Comment mettre en œuvre le contrôle A.8.1 de l'ISO 27001 ? »)

• Fournissez du contexte sur votre organisation et vos objectifs de conformité

• Téléchargez les documents pertinents pour une analyse d'écarts précise

• Examinez et affinez le contenu généré par l'IA avant de l'utiliser

Pratiques de vérification :

• Recoupez les suggestions de l'IA avec les normes officielles

• Validez les informations critiques avec des experts en conformité

• Testez les politiques générées par l'IA dans votre contexte organisationnel

• Utilisez l'IA comme assistant, et non comme remplaçant de l'expertise

Pour les organisations

Pratiques de gouvernance :

• Documentez l'utilisation d'ISMS Copilot dans votre politique de gouvernance de l'IA

• Formez le personnel à l'utilisation appropriée et aux limites

• Définissez des périodes de rétention des données alignées sur vos politiques

• Révisez le contenu généré par l'IA avant toute soumission officielle

• Maintenez une supervision humaine pour les décisions de conformité critiques

Gestion des risques :

• Incluez les outils d'IA dans vos analyses d'impact sur la protection des données (AIPD)

• Documentez les accords de traitement des données avec ISMS Copilot

• Définissez des périodes de rétention appropriées pour les données sensibles

• Utilisez les espaces de travail pour isoler les données des différents clients ou projets

La gouvernance de l'IA en pratique

Au-delà des contraintes de sécurité, nous exploitons nos systèmes d'IA avec une gouvernance sur tout le cycle de vie. Voici comment nos politiques se traduisent par des pratiques concrètes :

Processus de développement

Exigences et tests :

• Chaque fonctionnalité d'IA possède des exigences documentées couvrant les capacités fonctionnelles, les seuils de performance, les contraintes de sécurité et les normes de traitement des données

• Des tests de régression sont effectués lors de chaque modification de code pour valider la précision de la récupération, le fondement des réponses (grounding) et la détection des hallucinations

• Les tests de sécurité comprennent des scans SAST/DAST, des tests d'intrusion annuels et des tests d'injection de prompt

• Aucun déploiement n'a lieu tant que 100 % des tests de régression n'ont pas réussi et que toutes les vulnérabilités critiques n'ont pas été corrigées

Détails de l'architecture (v2.5, février 2025) :

• Architecture d'injection dynamique de connaissances sur les référentiels (remplace l'ancienne approche RAG)

• La détection des référentiels basée sur les expressions régulières garantit une identification fiable de l'ISO 27001, SOC 2, RGPD, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU AI Act

• Efficacité des jetons (tokens) : seules les connaissances pertinentes sur le référentiel sont chargées (au lieu d'envoyer environ 10 000 jetons à chaque requête)

• Connaissances vérifiées sur le référentiel fournies à l'IA avant la génération de la réponse

• Fournisseurs d'IA configurables (Mistral, xAI, OpenAI) avec des accords de rétention de données nulle

Surveillance et amélioration continue

Ce que nous surveillons :

• Les taux d'hallucination suivis via les rapports des utilisateurs et la détection automatisée par rapport à une vérité terrain connue

• La précision des réponses échantillonnée et validée par rapport aux normes de conformité officielles

• Les modèles d'utilisation analysés pour détecter les abus ou les applications involontaires

• Les mesures de performance (temps de réponse, précision de la récupération, taux d'erreur) mesurées en continu

• Les commentaires des utilisateurs examinés régulièrement pour identifier les risques émergents

Comment la surveillance stimule l'amélioration :

• Les retours des utilisateurs informent les mises à jour des modèles et le réglage de la récupération

• Les résultats des tests de sécurité conduisent à des améliorations de la sécurité

• Les changements réglementaires et les mises à jour des meilleures pratiques sont reflétés dans la documentation

• Les données de performance guident les améliorations itératives de la précision et de la rapidité

Réponse aux incidents

Comment nous communiquons les problèmes :

• Alertes par e-mail pour les incidents critiques affectant les fonctionnalités de l'IA

• Notifications Slack pour les équipes ayant configuré les intégrations

• Mises à jour sur la page de statut avec les chronologies des incidents et les résolutions

• Notifications d'alerte précoce conformes à NIS2 (signalement sous 24 heures pour les incidents de cybersécurité significatifs)

Signaler des problèmes de sécurité

Quand signaler

Contactez le support ISMS Copilot si vous rencontrez :

• Des réponses de l'IA qui violent les contraintes de sécurité

• Des hallucinations potentielles ou des informations factuellement incorrectes

• Des violations de droits d'auteur dans la production de l'IA

• Du contenu ou un comportement inapproprié

• Des vulnérabilités de sécurité dans le système d'IA

• Des violations de la confidentialité ou des fuites de données

Comment signaler

1. Cliquez sur l'icône du menu utilisateur (en haut à droite)

2. Sélectionnez Centre d'aide → Contacter le support

3. Décrivez le problème de sécurité avec :

   • La question exacte ou le prompt que vous avez utilisé

   • La réponse de l'IA (capture d'écran si possible)

   • Pourquoi vous pensez qu'il s'agit d'un problème de sécurité

   • La date et l'heure de l'interaction

4. Le support enquêtera et répondra sous 48 heures

Ce qui se passe après votre signalement

Votre rapport déclenche notre processus de gouvernance :

1. Examen immédiat (sous 48 heures) : l'équipe de support évalue la gravité et l'impact

2. Enquête : l'équipe technique analyse le problème, le reproduit et identifie la cause profonde

3. Réponse : vous recevez une mise à jour sur les conclusions et les actions prévues

4. Remédiation : les problèmes sont traités via des mises à jour de modèles, des réglages de récupération, des corrections de code ou des améliorations de la documentation

5. Amélioration continue : les leçons apprises sont intégrées aux processus de test et de surveillance

Limitations et contraintes connues

Limitations actuelles de l'IA

• Ne peut pas naviguer sur Internet pour des informations actuelles (utilise une base de connaissances entraînée)

• Ne peut pas accéder à des bases de données externes ou des API en temps réel

• Ne peut pas exécuter de code ni lancer d'outils de test de sécurité

• Ne peut pas passer d'appels téléphoniques ni envoyer d'e-mails en votre nom

• Ne peut pas garantir une précision de 100 % (vérifiez toujours les informations critiques)

Limites du périmètre

• Concentré sur l'ISMS et la conformité (pas une IA à usage général)

• Ne peut pas fournir de conseils juridiques, médicaux ou financiers en dehors du contexte de conformité

• Ne peut pas remplacer les normes officielles ni le jugement de l'auditeur

• Ne peut pas garantir le succès d'un audit (la qualité de la mise en œuvre compte)

Étapes suivantes

• En savoir plus sur la sécurité des données et les mesures de chiffrement

• Comprendre vos droits à la confidentialité en vertu du RGPD

• Configurer des espaces de travail pour l'isolation des données

• Visitez le Trust Center pour une documentation détaillée sur la gouvernance de l'IA

Obtenir de l'aide

Pour toute question sur la sécurité de l'IA et son utilisation responsable :

• Consultez le Trust Center pour des informations détaillées sur la gouvernance de l'IA

• Contactez le support via le menu du Centre d'aide

• Signalez immédiatement les problèmes de sécurité pour enquête

• Consultez la Page de statut pour les problèmes connus