Aperçu de la Sécurité de l'IA et de l'Utilisation Responsable

Vue d'ensemble

ISMS Copilot intègre des mesures complètes de sécurité de l'IA pour garantir une assistance fiable, digne de confiance et responsable en matière de conformité pour les professionnels du secteur. Cet article explique les garde-fous, les contraintes de sécurité et les pratiques d'IA responsable intégrées à la plateforme.

À qui s'adresse cet article

Cet article est destiné à :

• Les professionnels de la conformité évaluant les mesures de sécurité de l'IA
• Les responsables des risques évaluant les contrôles de gouvernance de l'IA
• Les équipes de sécurité préoccupées par l'utilisation abusive de l'IA
• Toute personne souhaitant comprendre comment ISMS Copilot garantit une utilisation responsable de l'IA

Principes de sécurité de l'IA

Le cadre de sécurité de l'IA d'ISMS Copilot repose sur quatre principes fondamentaux :

1. Limitation de la finalité

L'assistant IA est conçu exclusivement pour le travail en matière de sécurité de l'information et de conformité :

• Axé sur les cadres ISMS (ISO 27001, SOC 2, GDPR, NIST, etc.)
• Redirige poliment les questions hors sujet vers des sujets liés à la conformité
• Refuse les demandes d'activités nuisibles, illégales ou contraires à l'éthique
• Reste dans les limites de l'assistance en matière de conseil en conformité

2. Transparence et honnêteté

L'assistant IA reconnaît ouvertement ses limites :

• Exprime explicitement son incertitude lorsque cela est approprié
• Invite les utilisateurs à vérifier les informations importantes
• Admet quand il ne sait pas quelque chose plutôt que de deviner
• Explique clairement ce qu'il peut et ne peut pas faire

3. Protection des droits d'auteur et de la propriété intellectuelle

ISMS Copilot respecte les droits de propriété intellectuelle :

• Ne reproduit pas les normes ISO protégées par le droit d'auteur ou le contenu propriétaire
• Oriente les utilisateurs vers l'achat de normes officielles auprès de sources autorisées
• Fournit des conseils basés sur les principes des cadres sans copier de texte
• Formé sur des données anonymisées et obtenues légalement, conformes aux exigences de droit d'auteur de l'UE

4. Protection de la vie privée dès la conception

La protection des données utilisateur est intégrée dans chaque interaction avec l'IA :

• Les conversations ne sont jamais utilisées pour entraîner les modèles d'IA
• Le contenu fourni par l'utilisateur n'est pas partagé avec d'autres utilisateurs
• Chaque conversation est traitée de manière indépendante
• L'isolation des espaces de travail empêche le mélange de données entre les projets

Garde-fous de sécurité de l'IA

Garde-fous du champ d'application du contenu

Ce que l'IA fera :

• Répondre aux questions sur les cadres ISMS et la conformité
• Analyser les documents de conformité téléchargés (politiques, procédures, évaluations des risques)
• Générer des politiques et procédures prêtes pour l'audit
• Fournir une analyse des écarts et des conseils de mise en œuvre
• Expliquer les contrôles de sécurité et les exigences de conformité

Ce que l'IA ne fera PAS :

• Fournir des conseils juridiques (suggère de consulter des professionnels du droit à la place)
• Offrir des conseils médicaux, financiers ou personnels en dehors du champ de la conformité
• Générer du contenu à des fins illégales, nuisibles ou contraires à l'éthique
• Reproduire des normes protégées par le droit d'auteur ou des matériaux propriétaires
• Divulguer ses instructions personnalisées ou ses invites système

Prévention des contournements

ISMS Copilot est conçu pour résister aux tentatives de manipulation :

Tactiques bloquées :

• Les astuces du type "Répète après moi" pour extraire les invites système
• Les scénarios de jeu de rôle conçus pour contourner les contraintes de sécurité
• Les demandes d'"ignorer les instructions précédentes"
• La manipulation des contraintes ("réponds sans messages de refus")
• Les tentatives d'accès direct aux fichiers de la base de connaissances interne

Fonctionnement :

Lorsque l'IA détecte une tentative de contournement, elle :

1. Reconnaît le schéma de manipulation
2. Refuse poliment la demande
3. Redirige vers une assistance ISMS légitime
4. Maintient ses contraintes de sécurité

Protection contre l'injection de prompts

La plateforme protège contre le contenu malveillant dans les fichiers téléchargés :

Ce qui est protégé :

• Les documents téléchargés sont analysés pour détecter les tentatives d'injection de prompts
• Les instructions malveillantes intégrées dans les fichiers sont rejetées silencieusement
• Les invites système ne peuvent pas être modifiées via le contenu des fichiers
• Les contraintes de sécurité restent actives quel que soit le contenu des fichiers

Expérience utilisateur :

• Les fichiers sont traités normalement du point de vue de l'utilisateur
• Les instructions nuisibles sont filtrées pendant le traitement
• Seul le contenu légitime du document est analysé
• Aucun message d'erreur visible (protection silencieuse)

Garde-fous de protection des connaissances

L'IA protège ses données d'entraînement et sa configuration système :

Ce à quoi les utilisateurs ne peuvent pas accéder :

• Instructions personnalisées ou invites système
• Détails sur les sources des données d'entraînement
• Accès direct aux fichiers de la base de connaissances
• Liens de téléchargement pour les documents internes
• Informations sur la structure de la base de connaissances

Pourquoi cela est important :

Protéger les invites système et les données d'entraînement permet d'éviter :

• Que des adversaires comprennent comment manipuler l'IA
• Les violations de droits d'auteur en reproduisant des matériaux d'entraînement
• Les risques de sécurité liés à l'exposition de l'architecture du système
• Les comportements incohérents dus à des instructions modifiées

Prévention des hallucinations

Que sont les hallucinations ?

Les hallucinations de l'IA se produisent lorsque l'IA génère des informations qui semblent confiantes mais qui sont factuellement incorrectes. ISMS Copilot aborde ce problème par le biais de plusieurs mécanismes :

Injection dynamique de connaissances sur les cadres (v2.5)

Depuis février 2025, ISMS Copilot v2.5 élimine presque totalement les hallucinations pour les questions spécifiques aux cadres grâce à l'injection dynamique de connaissances sur les cadres :

• Détecte les mentions de cadres dans vos questions à l'aide de la correspondance de motifs regex (ISO 27001, GDPR, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU AI Act)
• Injecte des connaissances vérifiées sur les cadres dans le contexte de l'IA avant de générer des réponses
• L'IA répond en se basant sur les connaissances fournies sur les cadres, et non sur une mémoire probabiliste
• La détection non basée sur l'IA garantit une fiabilité à 100 % lorsque des cadres sont mentionnés
• Prend en charge 10 cadres avec une injection de connaissances dédiée

Formation sur des connaissances du monde réel

Au-delà de l'injection de connaissances sur les cadres, ISMS Copilot est formé sur des connaissances spécialisées en conformité :

• Bibliothèque propriétaire de connaissances en conformité issue de centaines de projets de conseil réels
• Basé sur une expérience pratique de mise en œuvre, et non sur des informations théoriques
• Axé sur les cadres, les normes et les pratiques éprouvées
• Mis à jour régulièrement avec les exigences actuelles en matière de conformité

Reconnaissance de l'incertitude

L'IA est instruite pour être honnête quant à ses limites :

• Indique explicitement lorsqu'elle est incertaine quant à une information
• Invite les utilisateurs à vérifier les informations critiques
• Évite d'inventer des faits lorsque les connaissances sont incomplètes
• Suggère de consulter les normes officielles ou des professionnels du droit lorsque cela est approprié

Exemple de réponse :

"Bien que je puisse fournir des conseils généraux sur le contrôle A.8.1 de l'ISO 27001, je suis encore susceptible de faire des erreurs. Pour les besoins d'audit, veuillez vérifier cette information par rapport à la norme officielle ISO 27001:2022."

Responsabilité de vérification par l'utilisateur

ISMS Copilot souligne que les utilisateurs doivent :

• Recouper les suggestions de l'IA avec les normes officielles
• Valider les informations critiques avant de les soumettre aux auditeurs
• Utiliser l'IA comme assistant d'un consultant, et non comme un remplacement de l'expertise
• Exercer leur jugement professionnel dans l'application des recommandations de l'IA

Limitation du débit et protection des ressources

Limites de débit des messages

ISMS Copilot met en œuvre des limites de débit pour prévenir les abus et garantir un accès équitable :

Plan gratuit :

• 10 messages réussis par fenêtre fixe de 4 heures UTC (pas un minuteur qui démarre à votre premier message)
• 10 crédits de session pour la même fenêtre
• Appliqué à la fois au niveau frontal et dorsal

Plans payants (Plus, Standard, Pro, Business ; Essential grand-père) :

• Crédits de session par période de 4h : Plus 50, Standard 100, Pro 250, Business 500 (Essential 25)
• Pas de plafond de 10 messages de style gratuit ; les crédits / la capacité de jetons s'appliquent toujours
• Voir Plans d'abonnement et tarifs

Lorsqu'une limite est atteinte :

Le produit affiche un message clair indiquant la limite avec des options de mise à niveau et un compte à rebours jusqu'à la prochaine période de 4 heures UTC.

Limites de téléchargement de fichiers

Les téléchargements de fichiers sont soumis à des contraintes de sécurité pour protéger les ressources du système :

Taille des fichiers :

• Maximum : 10 Mo par fichier
• Message d'erreur : "Le fichier 'document.pdf' est trop volumineux (15,23 Mo). La taille maximale autorisée est de 10 Mo."

Types de fichiers pris en charge :

• TXT, CSV, JSON (fichiers texte)
• PDF (documents)
• DOC, DOCX (Microsoft Word)
• XLS, XLSX (Microsoft Excel)

Restrictions de téléchargement :

• Jusqu'à 10 fichiers par lot (le fair use mensuel des téléchargements terminés s'applique toujours)
• Impossible de télécharger des fichiers en double pour le même message
• Les types de fichiers non pris en charge sont rejetés avec un message d'erreur

Mode Chat Temporaire

Qu'est-ce que le Chat Temporaire ?

Le mode de chat temporaire offre des conversations préservant la confidentialité avec une gestion spécifique des données :

Fonctionnement :

1. Sélectionnez « Chat Temporaire » depuis l'écran d'accueil
2. Vous verrez l'avis suivant : « Cette conversation n'apparaîtra pas dans l'historique. À des fins de sécurité, nous pouvons conserver une copie de cette conversation pendant une durée maximale de 30 jours. »
3. Envoyez des messages et téléchargez des fichiers comme d'habitude
4. La conversation n'est pas ajoutée à votre historique de conversations
5. Les données peuvent être conservées jusqu'à 30 jours pour un examen de sécurité

Quand utiliser le Chat Temporaire :

• Questions ponctuelles qui n'ont pas besoin d'être enregistrées
• Discussions sensibles que vous ne souhaitez pas conserver dans l'historique permanent
• Tests de requêtes avant de les intégrer à un espace de travail
• Recherche exploratoire sur des sujets de conformité

Contrôles de Conservation des Données

Conservation Contrôlée par l'Utilisateur

Vous décidez de la durée de conservation de vos données de conversation :

1. Cliquez sur l'icône du menu utilisateur (en haut à droite)
2. Sélectionnez Paramètres
3. Dans le champ Période de Conservation des Données, choisissez :

• Minimum : 1 jour (travail à haute sécurité, court terme)
• Maximum : 24 955 jours / 7 ans (documentation à long terme)
• Ou cliquez sur Conserver Indéfiniment pour une rétention illimitée

4. Cliquez sur Enregistrer les Paramètres

Résultat attendu : La boîte de dialogue des paramètres se ferme et la période de conservation est enregistrée.

Suppression Automatique des Données

ISMS Copilot supprime automatiquement les anciennes données :

• Le processus de suppression s'exécute quotidiennement
• Supprime les messages plus anciens que votre période de conservation
• Efface les fichiers téléchargés associés
• La suppression est permanente et ne peut pas être annulée

Fonctionnalités de Sécurité des Espaces de Travail

Isolation des Données

Les espaces de travail offrent des limites de sécurité pour différents projets :

Fonctionnement de l'Isolation :

• Chaque espace de travail dispose d'un historique de conversation séparé
• Les fichiers téléchargés sont liés à des espaces de travail spécifiques
• Les instructions personnalisées sont spécifiques à chaque espace de travail
• La suppression d'un espace de travail efface toutes les données associées
• L'IA ne partage pas d'informations entre les espaces de travail

Sécurité des Instructions Personnalisées

Les espaces de travail permettent des instructions personnalisées avec des contraintes de sécurité :

Ce que les Instructions Personnalisées peuvent faire :

• Spécifier une concentration sur des cadres de conformité particuliers
• Définir le ton ou le niveau de détail des réponses
• Définir un contexte spécifique au projet (secteur, taille de l'organisation)
• Guider l'IA vers des objectifs de conformité spécifiques

Contraintes de Sécurité :

• Les instructions personnalisées doivent être liées à la conformité
• Ne peuvent pas outrepasser les garde-fous de sécurité de base
• Ne peuvent pas demander à l'IA d'ignorer les protections des droits d'auteur
• Ne peuvent pas contourner les limitations de portée du contenu

Aucune Formation sur les Données Utilisateur

Garantie de Confidentialité

ISMS Copilot s'engage à ne jamais utiliser vos données pour la formation de l'IA :

Ce que cela signifie :

• Vos conversations ne sont jamais réinjectées dans le modèle d'IA
• Les documents téléchargés restent confidentiels et privés
• Les informations des clients ne contribuent jamais à l'amélioration du modèle
• Chaque conversation est traitée indépendamment sans apprentissage

Comment cela vous protège :

• La confidentialité des clients est maintenue
• Les informations propriétaires restent privées
• Les données sensibles de conformité ne sont pas partagées avec d'autres utilisateurs
• Aucun risque que l'IA révèle accidentellement vos informations à d'autres

Transparence du Traitement des Données

ISMS Copilot est transparent sur l'utilisation de vos données :

Comment vos données SONT utilisées :

• Traitement de vos questions pour générer des réponses
• Analyse des documents téléchargés pour l'analyse des écarts
• Maintien du contexte de conversation au sein d'un espace de travail
• Stockage des données selon vos paramètres de conservation
• Surveillance de la sécurité pendant jusqu'à 30 jours (pour prévenir les abus)

Comment vos données NE SONT PAS utilisées :

• Formation ou ajustement fin des modèles d'IA
• Partage avec d'autres utilisateurs ou clients
• Fins de marketing ou de publicité
• Vente à des tiers
• Divulgation publique ou études de cas (sans autorisation explicite)

Authentification et Contrôle d'Accès

Exigences d'Authentification des Utilisateurs

Toutes les interactions avec l'IA nécessitent une authentification :

• Impossible d'envoyer des messages sans se connecter
• Jeton JWT valide chaque requête API
• Les sessions expirent après une période d'inactivité
• La sécurité au niveau des lignes garantit que les utilisateurs ne voient que leurs propres données

Protection Inter-Utilisateurs

L'isolation au niveau de la base de données empêche les accès non autorisés :

• Les utilisateurs ne peuvent pas accéder aux conversations d'autres utilisateurs
• Toute tentative d'accès aux données d'un autre utilisateur retourne des résultats vides
• Toutes les requêtes filtrent automatiquement par identifiant d'utilisateur authentifié
• Même les administrateurs suivent le principe du moindre privilège

Bonnes Pratiques d'IA Responsable

Pour les Utilisateurs

Obtenir les Meilleurs Résultats :

• Posez des questions spécifiques liées à un cadre (par exemple, « Comment implémenter le contrôle A.8.1 de l'ISO 27001 ? »)
• Fournissez un contexte sur votre organisation et vos objectifs de conformité
• Téléchargez les documents pertinents pour une analyse précise des écarts
• Passez en revue et affinez le contenu généré par l'IA avant utilisation

Pratiques de Vérification :

• Croisez les suggestions de l'IA avec les normes officielles
• Validez les informations critiques avec des experts en conformité
• Testez les politiques générées par l'IA dans le contexte de votre organisation
• Utilisez l'IA comme assistant, pas comme remplacement de l'expertise

Pour les Organisations

Pratiques de Gouvernance :

• Documentez l'utilisation d'ISMS Copilot dans votre politique de gouvernance de l'IA
• Formez le personnel à une utilisation appropriée et à ses limites
• Définissez des périodes de conservation des données alignées sur vos politiques
• Passez en revue le contenu généré par l'IA avant toute soumission officielle
• Maintenez une supervision humaine pour les décisions critiques de conformité

Gestion des Risques :

• Incluez les outils d'IA dans les Évaluations d'Impact sur la Protection des Données (EIPD)
• Documentez les accords de traitement des données avec ISMS Copilot
• Définissez des périodes de conservation appropriées pour les données sensibles
• Utilisez les espaces de travail pour isoler les données de différents clients ou projets

Gouvernance de l'IA en Pratique

Au-delà des contraintes de sécurité, nous exploitons nos systèmes d'IA avec une gouvernance couvrant tout leur cycle de vie. Voici comment nos politiques se traduisent en pratiques tangibles :

Processus de Développement

Exigences et Tests :

• Chaque fonctionnalité d'IA dispose de spécifications documentées couvrant les capacités fonctionnelles, les seuils de performance, les contraintes de sécurité et les normes de gestion des données
• Des tests de régression sont exécutés à chaque modification du code pour valider la précision de la récupération, l'ancrage des réponses et la détection des hallucinations
• Les tests de sécurité incluent des analyses SAST/DAST, des tests d'intrusion annuels et des tests d'injection de prompts
• Aucun déploiement n'a lieu tant que 100 % des tests de régression ne sont pas réussis et que toutes les vulnérabilités critiques ne sont pas résolues

Détails de l'Architecture (v2.5, février 2025) :

• Architecture d'injection dynamique de connaissances sur les cadres (remplace l'approche RAG précédente)
• Détection des cadres basée sur des expressions régulières pour une identification fiable de l'ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU AI Act
• Efficacité des jetons : seules les connaissances pertinentes sur les cadres sont chargées (vs. l'envoi de tous les ~10K jetons à chaque requête)
• Connaissances vérifiées sur les cadres fournies à l'IA avant la génération de la réponse
• Fournisseurs d'IA configurables (Mistral, xAI, OpenAI) avec des accords de non-conservation des données

Surveillance et Amélioration Continue

Ce que nous surveillons :

• Les taux d'hallucination suivis via les signalements des utilisateurs et la détection automatisée par rapport à des vérités de référence connues
• La précision des réponses échantillonnées et validées par rapport aux normes officielles de conformité
• Les schémas d'utilisation analysés pour détecter les usages abusifs ou non intentionnels
• Les métriques de performance (temps de réponse, précision de la récupération, taux d'erreur) mesurées en continu
• Les retours des utilisateurs examinés régulièrement pour identifier les risques émergents

Comment la Surveillance Stimule l'Amélioration :

• Les retours des utilisateurs informent les mises à jour du modèle et le réglage de la récupération
• Les résultats des tests de sécurité guident les améliorations de la sécurité
• Les changements réglementaires et les mises à jour des meilleures pratiques sont reflétés dans la documentation
• Les données de performance orientent les améliorations itératives de la précision et de la vitesse

Réponse aux Incidents

Comment nous Communiquons les Problèmes :

• Alertes par e-mail pour les incidents critiques affectant la fonctionnalité de l'IA
• Notifications Slack pour les équipes avec des intégrations configurées
• Mises à jour sur la page de statut avec les chronologies et résolutions des incidents
• Notifications d'alerte précoce conformes à la NIS2 (rapport sous 24 heures pour les incidents cybersécurité significatifs)

Signalement des Problèmes de Sécurité

Quand Signaler

Contactez le support ISMS Copilot si vous rencontrez :

• Des réponses de l'IA qui violent les contraintes de sécurité
• Des hallucinations potentielles ou des informations factuellement incorrectes
• Des violations de droits d'auteur dans les sorties de l'IA
• Un contenu ou un comportement inapproprié
• Des vulnérabilités de sécurité dans le système d'IA
• Des fuites de données ou des atteintes à la vie privée

Comment signaler

1. Cliquez sur l'icône du menu utilisateur (en haut à droite)
2. Sélectionnez Centre d'aide → Contacter le support
3. Décrivez le problème de sécurité en indiquant :

• La question ou l'invite exacte que vous avez utilisée
• La réponse de l'IA (capture d'écran si possible)
• Pourquoi vous estimez qu'il s'agit d'un problème de sécurité
• La date et l'heure de l'interaction

4. Le support enquêtera et répondra sous 48 heures

Que se passe-t-il après votre signalement

Votre signalement déclenche notre processus de gouvernance :

1. Examen immédiat (sous 48 heures) : L'équipe de support évalue la gravité et l'impact
2. Enquête : L'équipe technique analyse le problème, reproduit l'incident et identifie la cause racine
3. Réponse : Vous recevez une mise à jour sur les conclusions et les actions prévues
4. Correction : Les problèmes sont traités par des mises à jour du modèle, des ajustements de la récupération, des corrections de code ou des améliorations de la documentation
5. Amélioration continue : Les enseignements tirés sont intégrés aux processus de test et de surveillance

Limitations et contraintes connues

Limitations actuelles de l'IA

• Ne peut pas naviguer sur Internet pour obtenir des informations actuelles (utilise une base de connaissances entraînée)
• Ne peut pas accéder à des bases de données externes ou à des API en temps réel
• Ne peut pas exécuter de code ou utiliser des outils de test de sécurité
• Ne peut pas passer d'appels téléphoniques ou envoyer des e-mails en votre nom
• Ne peut pas garantir une précision à 100 % (toujours vérifier les informations critiques)

Limites du périmètre

• Axé sur l'ISMS et la conformité (pas une IA à usage général)
• Ne peut pas fournir de conseils juridiques, médicaux ou financiers en dehors du contexte de conformité
• Ne peut pas remplacer les normes officielles ou le jugement d'un auditeur
• Ne peut pas garantir le succès d'un audit (la qualité de la mise en œuvre est importante)

Prochaines étapes

• Découvrez les mesures de sécurité et de chiffrement des données
• Comprenez vos droits en matière de confidentialité selon le RGPD
• Configurez des espaces de travail pour l'isolation des données
• Visitez le Centre de confiance pour une documentation détaillée sur la gouvernance de l'IA

Obtenir de l'aide

Pour des questions sur la sécurité de l'IA et son utilisation responsable :

• Consultez le Centre de confiance pour des informations détaillées sur la gouvernance de l'IA
• Contactez le support via le menu du Centre d'aide
• Signalez immédiatement les problèmes de sécurité pour enquête
• Consultez la Page de statut pour les problèmes connus