Descripción general de la seguridad y el uso responsable de la IA

Descripción general

ISMS Copilot implementa medidas integrales de seguridad de IA para garantizar una asistencia de IA fiable, digna de confianza y responsable para los profesionales del cumplimiento. Este artículo explica las protecciones, las restricciones de seguridad y las prácticas de IA responsable integradas en la plataforma.

A quién va dirigido

Este artículo es para:

• Profesionales del cumplimiento que evalúan las medidas de seguridad de la IA

• Gestores de riesgos que evalúan los controles de gobernanza de la IA

• Equipos de seguridad preocupados por el uso indebido de la IA

• Cualquier persona que quiera entender cómo ISMS Copilot garantiza el uso responsable de la IA

Principios de seguridad de la IA

El marco de seguridad de IA de ISMS Copilot se basa en cuatro principios básicos:

1. Limitación de la finalidad

El asistente de IA está diseñado exclusivamente para trabajos de seguridad de la información y cumplimiento:

• Centrado en marcos de ISMS (ISO 27001, SOC 2, GDPR, NIST, etc.)

• Redirige educadamente las preguntas fuera de contexto hacia temas relacionados con el cumplimiento

• Rechaza solicitudes para actividades dañinas, ilegales o poco éticas

• Se mantiene dentro de los límites de la asistencia de consultoría de cumplimiento

2. Transparencia y honestitud

El asistente de IA reconoce abiertamente sus limitaciones:

• Declara explícitamente la incertidumbre cuando es apropiado

• Insta a los usuarios a verificar la información importante

• Admite cuando no sabe algo en lugar de adivinar

• Explica claramente qué puede y qué no puede hacer

3. Protección de derechos de autor y propiedad intelectual

ISMS Copilot respeta los derechos de propiedad intelectual:

• No reproducirá estándares ISO con derechos de autor ni contenido patentado

• Dirige a los usuarios a comprar los estándares oficiales de fuentes autorizadas

• Proporciona orientación basada en los principios del marco sin copiar el texto

• Entrenado con datos obtenidos legalmente y anonimizados que cumplen con los requisitos de derechos de autor de la UE

4. Privacidad desde el diseño

La protección de los datos del usuario está integrada en cada interacción de la IA:

• Las conversaciones nunca se utilizan para entrenar modelos de IA

• El contenido proporcionado por el usuario no se comparte con otros usuarios

• Cada conversación se procesa de forma independiente

• El aislamiento del espacio de trabajo evita la mezcla de datos entre proyectos

Protecciones de seguridad de la IA

Protecciones de alcance de contenido

Lo que la IA hará:

• Responder preguntas sobre marcos de ISMS y cumplimiento

• Analizar documentos de cumplimiento cargados (políticas, procedimientos, evaluaciones de riesgos)

• Generar políticas y procedimientos listos para auditorías

• Proporcionar análisis de brechas y orientación para la implementación

• Explicar los controles de seguridad y los requisitos de cumplimiento

Lo que la IA NO hará:

• Proporcionar asesoramiento legal (sugiere consultar a profesionales legales en su lugar)

• Ofrecer asesoramiento médico, financiero o personal fuera del alcance del cumplimiento

• Generar contenido para fines ilegales, dañinos o poco éticos

• Reproducir estándares con derechos de autor o materiales patentados

• Revelar sus instrucciones personalizadas o prompts del sistema

Prevención de Jailbreak

ISMS Copilot está diseñado para resistir intentos de manipulación:

Tácticas bloqueadas:

• Trucos de "repite después de mí" para extraer prompts del sistema

• Escenarios de juego de roles diseñados para eludir las restricciones de seguridad

• Solicitudes para "ignorar instrucciones anteriores"

• Manipulación de restricciones ("responde sin mensajes de rechazo")

• Intentos de acceder directamente a archivos de la base de conocimientos interna

Cómo funciona:

Cuando la IA detecta un intento de jailbreak:

1. Reconoce el patrón de manipulación

2. Rechaza educadamente la solicitud

3. Redirige a asistencia legítima de ISMS

4. Mantiene sus restricciones de seguridad

Protección contra inyección de prompts

La plataforma protege contra contenido malicioso en la carga de archivos:

Qué está protegido:

• Los documentos cargados se escanean en busca de intentos de inyección de prompts

• Las instrucciones maliciosas incrustadas en los archivos se rechazan silenciosamente

• Los prompts del sistema no pueden anularse mediante el contenido del archivo

• Las restricciones de seguridad permanecen activas independientemente del contenido del archivo

Experiencia del usuario:

• Los archivos se procesan normalmente desde la perspectiva del usuario

• Las instrucciones dañinas se filtran durante el procesamiento

• Solo se analiza el contenido legítimo del documento

• Sin mensaje de error visible (protección silenciosa)

Protecciones de conocimiento

La IA protege sus datos de entrenamiento y la configuración del sistema:

Lo que los usuarios no pueden acceder:

• Instrucciones personalizadas o prompts del sistema

• Detalles sobre las fuentes de datos de entrenamiento

• Acceso directo a los archivos de la base de conocimientos

• Enlaces de descarga para documentos internos

• Información sobre cómo está estructurada la base de conocimientos

Por qué esto es importante:

Proteger los prompts del sistema y los datos de entrenamiento evita:

• Que los adversarios comprendan cómo manipular la IA

• Violaciones de derechos de autor por la reproducción de materiales de entrenamiento

• Riesgos de seguridad por la exposición de la arquitectura del sistema

• Comportamiento inconsistente por instrucciones modificadas

Prevención de alucinaciones

¿Qué son las alucinaciones?

Las alucinaciones de IA ocurren cuando la IA genera información que suena convincente pero es incorrecta desde el punto de vista factual. ISMS Copilot aborda esto mediante múltiples mecanismos:

Inyección dinámica de conocimiento de marcos (v2.5)

A partir de febrero de 2025, ISMS Copilot v2.5 casi elimina las alucinaciones para preguntas específicas de marcos mediante la inyección dinámica de conocimiento:

• Detecta menciones de marcos en sus preguntas mediante coincidencia de patrones regex (ISO 27001, GDPR, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU AI Act)

• Inyecta conocimiento verificado del marco en el contexto de la IA antes de generar respuestas

• La IA responde basándose en el conocimiento proporcionado, no en la memoria probabilística

• La detección no basada en IA garantiza una fiabilidad del 100% cuando se mencionan marcos

• Admite 10 marcos con inyección de conocimiento dedicada

Entrenamiento en conocimientos del mundo real

Más allá de la inyección de conocimiento de marcos, ISMS Copilot está entrenado en conocimientos especializados de cumplimiento:

• Biblioteca propia de conocimientos de cumplimiento proveniente de cientos de proyectos de consultoría reales

• Basado en la experiencia de implementación práctica, no en información teórica

• Centrado en marcos, estándares y prácticas comprobadas

• Actualizado regularmente con los requisitos actuales de cumplimiento

Reconocimiento de incertidumbre

La IA tiene instrucciones de ser honesta sobre sus limitaciones:

• Indica explícitamente cuándo no está segura de la información

• Insta a los usuarios a verificar la información crítica

• Evita inventar hechos cuando el conocimiento está incompleto

• Sugiere consultar estándares oficiales o profesionales legales cuando sea apropiado

Ejemplo de respuesta:

"Aunque puedo proporcionar orientación general sobre el control A.8.1 de la norma ISO 27001, es probable que cometa errores. A efectos de auditoría, verifique esta información con la norma oficial ISO 27001:2022".

Responsabilidad de verificación del usuario

ISMS Copilot enfatiza que los usuarios deben:

• Contrastar las sugerencias de la IA con los estándares oficiales

• Validar la información crítica antes de presentarla a los auditores

• Usar la IA como un asistente de consultoría, no como un sustituto de la experiencia

• Ejercer el juicio profesional al aplicar las recomendaciones de la IA

Límites de frecuencia y protección de recursos

Límites de mensajes

ISMS Copilot implementa límites de frecuencia para evitar abusos y garantizar un acceso justo:

Plan Gratuito:

• 10 mensajes por cada ventana móvil de 4 horas

• El contador se reinicia después de 4 horas desde el primer mensaje

• Aplicado tanto en el frontend como en el backend

Planes de Pago (Plus, Standard, Pro, Business):

• Más créditos por sesión (de 50 a 400 según el plan)

• Sin restricciones de límite de frecuencia

• Procesamiento prioritario

Cuando se alcanza el límite de frecuencia:

Verá el mensaje de error: "Se ha alcanzado el límite diario de mensajes. Por favor, actualice su plan para obtener más créditos por sesión".

Límites de carga de archivos

La carga de archivos tiene restricciones de seguridad para proteger los recursos del sistema:

Tamaño de archivo:

• Máximo: 10 MB por archivo

• Mensaje de error: "El archivo 'documento.pdf' es demasiado grande (15.23 MB). El tamaño máximo permitido es 10 MB".

Tipos de archivos admitidos:

• TXT, CSV, JSON (archivos de texto)

• PDF (documentos)

• DOC, DOCX (Microsoft Word)

• XLS, XLSX (Microsoft Excel)

Restricciones de carga:

• Un archivo a la vez (no se admite la carga por lotes)

• No se pueden cargar archivos duplicados para el mismo mensaje

• Los tipos de archivo no admitidos se rechazan con un mensaje de error

Modo de chat temporal

¿Qué es el chat temporal?

El modo de chat temporal ofrece conversaciones que preservan la privacidad con un manejo de datos específico:

Cómo funciona:

1. Seleccione "Chat temporal" en la pantalla de bienvenida

2. Verá el aviso: "Este chat no aparecerá en el historial. Por motivos de seguridad, es posible que conservemos una copia de este chat hasta 30 días".

3. Envíe mensajes y cargue archivos normalmente

4. La conversación no se añade a su historial de conversaciones

5. Los datos pueden conservarse hasta 30 días para revisiones de seguridad

Cuándo usar el chat temporal:

• Preguntas rápidas y puntuales que no necesitan guardarse

• Discusiones sensibles que no desea en el historial permanente

• Probar consultas antes de comprometerse con un espacio de trabajo

• Investigación exploratoria sobre temas de cumplimiento

Controles de retención de datos

Retención controlada por el usuario

Usted decide cuánto tiempo se almacenan los datos de su conversación:

1. Haga clic en el icono del menú de usuario (arriba a la derecha)

2. Seleccione Configuración

3. En el campo Periodo de retención de datos, elija:

   • Mínimo: 1 día (trabajo a corto plazo de alta seguridad)

   • Máximo: 24.955 días / 7 años (documentación a largo plazo)

   • O haga clic en Mantener para siempre para una retención indefinida

4. Haga clic en Guardar configuración

Resultado esperado: El diálogo de configuración se cierra y se guarda el periodo de retención.

Eliminación automática de datos

ISMS Copilot elimina automáticamente los datos antiguos:

• El proceso de eliminación se ejecuta diariamente

• Elimina mensajes más antiguos que su periodo de retención

• Elimina los archivos cargados asociados

• Es permanente y no se puede recuperar

Funciones de seguridad del espacio de trabajo

Aislamiento de datos

Los espacios de trabajo proporcionan límites de seguridad para diferentes proyectos:

Cómo funciona el aislamiento:

• Cada espacio de trabajo tiene un historial de conversación separado

• Los archivos cargados están vinculados a espacios de trabajo específicos

• Las instrucciones personalizadas son específicas del espacio de trabajo

• Eliminar un espacio de trabajo elimina todos los datos asociados

• La IA no comparte información entre espacios de trabajo

Seguridad de las instrucciones personalizadas

Los espacios de trabajo permiten instrucciones personalizadas con restricciones de seguridad:

Lo que pueden hacer las instrucciones personalizadas:

• Especificar el enfoque en marcos de cumplimiento particulares

• Establecer el tono o el nivel de detalle de las respuestas

• Definir el contexto específico del proyecto (industria, tamaño de la organización)

• Guiar a la IA hacia objetivos de cumplimiento específicos

Restricciones de seguridad:

• Las instrucciones personalizadas deben estar relacionadas con el cumplimiento

• No pueden anular las protecciones de seguridad principales

• No pueden ordenar a la IA que ignore las protecciones de derechos de autor

• No pueden eludir las limitaciones de alcance del contenido

Sin entrenamiento con datos del usuario

Garantía de privacidad

ISMS Copilot se compromete a no utilizar nunca sus datos para el entrenamiento de IA:

Lo que esto significa:

• Sus conversaciones nunca se reincorporan al modelo de IA

• Los documentos cargados siguen siendo confidenciales y privados

• La información del cliente nunca contribuye a la mejora del modelo

• Cada conversación se procesa de forma independiente sin aprendizaje

Cómo le protege esto:

• Se mantiene la confidencialidad del cliente

• La información propietaria permanece privada

• Los datos sensibles de cumplimiento no se comparten con otros usuarios

• Sin riesgo de que la IA revele accidentalmente su información a otros

Transparencia en el procesamiento de datos

ISMS Copilot es transparente sobre cómo se utilizan sus datos:

Cómo SE UTILIZAN sus datos:

• Procesar sus preguntas para generar respuestas

• Analizar documentos cargados para el análisis de brechas

• Mantener el contexto de la conversación dentro de un espacio de trabajo

• Almacenar datos de acuerdo con su configuración de retención

• Control de seguridad durante un máximo de 30 días (para evitar abusos)

Cómo NO SE UTILIZAN sus datos:

• Entrenar o ajustar modelos de IA

• Compartir con otros usuarios o clientes

• Fines de marketing o publicidad

• Venta a terceros

• Divulgación pública o casos de estudio (sin permiso explícito)

Autenticación y control de acceso

Requisitos de autenticación de usuario

Todas las interacciones con la IA requieren autenticación:

• No se pueden enviar mensajes sin iniciar sesión

• El token JWT valida cada solicitud a la API

• Las sesiones caducan tras un periodo de inactividad

• La seguridad a nivel de fila garantiza que los usuarios solo vean sus propios datos

Protección entre usuarios

El aislamiento a nivel de base de datos evita el acceso no autorizado:

• Los usuarios no pueden acceder a las conversaciones de otros usuarios

• Intentar acceder a los datos de otro usuario devuelve resultados vacíos

• Todas las consultas se filtran automáticamente por el ID de usuario autenticado

• Incluso los administradores siguen el principio de mínimo privilegio

Mejores prácticas de IA responsable

Para usuarios

Obtener los mejores resultados:

• Haga preguntas específicas relacionadas con marcos (ej. "¿Cómo implemento el control A.8.1 de ISO 27001?")

• Proporcione contexto sobre su organización y objetivos de cumplimiento

• Cargue documentos relevantes para un análisis de brechas preciso

• Revise y refine el contenido generado por IA antes de usarlo

Prácticas de verificación:

• Contraste las sugerencias de la IA con los estándares oficiales

• Valide la información crítica con expertos en cumplimiento

• Pruebe las políticas generadas por IA en su contexto organizacional

• Utilice la IA como un asistente, no como un sustituto de la experiencia

Para organizaciones

Prácticas de gobernanza:

• Documente el uso de ISMS Copilot en su política de gobernanza de IA

• Capacite al personal sobre el uso adecuado y las limitaciones

• Establezca periodos de retención de datos alineados con sus políticas

• Revise el contenido generado por IA antes de presentarlo oficialmente

• Mantenga la supervisión humana para las decisiones críticas de cumplimiento

Gestión de riesgos:

• Incluya las herramientas de IA en las Evaluaciones de Impacto de Protección de Datos (EIPD)

• Documente los acuerdos de procesamiento de datos con ISMS Copilot

• Establezca periodos de retención adecuados para datos sensibles

• Use espacios de trabajo para aislar los datos de diferentes clientes o proyectos

Gobernanza de la IA en la práctica

Más allá de las restricciones de seguridad, operamos nuestros sistemas de IA con una gobernanza de ciclo de vida completo. Así es como nuestras políticas se traducen en prácticas tangibles:

Proceso de desarrollo

Requisitos y pruebas:

• Cada función de IA tiene requisitos documentados que cubren capacidades funcionales, umbrales de rendimiento, restricciones de seguridad y estándares de manejo de datos

• Se ejecutan pruebas de regresión en cada cambio de código para validar la precisión de la recuperación, la fundamentación de las respuestas y la detección de alucinaciones

• Las pruebas de seguridad incluyen escaneos SAST/DAST, pruebas de penetración anuales y pruebas de inyección de prompts

• No se realiza ningún despliegue hasta que el 100% de las pruebas de regresión se superan y se eliminan todas las vulnerabilidades críticas

Detalles de arquitectura (v2.5, febrero de 2025):

• Arquitectura de inyección dinámica de conocimiento del marco (reemplaza el enfoque RAG anterior)

• La detección de marcos basada en regex garantiza la identificación fiable de ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, EU AI Act

• Eficiencia de tokens: Solo se carga el conocimiento relevante del marco (frente al envío de todos los ~10.000 tokens en cada solicitud)

• Se proporciona conocimiento verificado del marco a la IA antes de la generación de la respuesta

• Proveedores de IA configurables (Mistral, xAI, OpenAI) con acuerdos de retención de datos cero

Monitoreo y mejora continua

Lo que monitoreamos:

• Tasas de alucinación seguidas a través de informes de usuarios y detección automatizada contra verdades fundamentales conocidas

• Precisión de las respuestas muestreada y validada contra los estándares oficiales de cumplimiento

• Patrones de uso analizados para detectar usos indebidos o aplicaciones no deseadas

• Métricas de rendimiento (tiempo de respuesta, precisión de recuperación, tasas de error) medidas continuamente

• Comentarios de los usuarios revisados periódicamente para identificar riesgos emergentes

Cómo el monitoreo impulsa la mejora:

• Los comentarios de los usuarios informan las actualizaciones del modelo y el ajuste de la recuperación

• Los resultados de las pruebas de seguridad impulsan las mejoras de seguridad

• Los cambios regulatorios y las actualizaciones de las mejores prácticas se reflejan en la documentación

• Los datos de rendimiento guían las mejoras iterativas en precisión y velocidad

Respuesta ante incidentes

Cómo comunicamos los problemas:

• Alertas por correo electrónico para incidentes críticos que afecten la funcionalidad de la IA

• Notificaciones de Slack para equipos con integraciones configuradas

• Actualizaciones en nuestra página de estado con cronogramas de incidentes y resoluciones

• Notificaciones de advertencia temprana que cumplen con NIS2 (informes en 24 horas para incidentes significativos de ciberseguridad)

Informar sobre problemas de seguridad

Cuándo informar

Contacte con el soporte de ISMS Copilot si se encuentra con:

• Respuestas de la IA que violan las restricciones de seguridad

• Posibles alucinaciones o información factualmente incorrecta

• Violaciones de derechos de autor en la salida de la IA

• Contenido o comportamiento inapropiado

• Vulnerabilidades de seguridad en el sistema de IA

• Violaciones de privacidad o fugas de datos

Cómo informar

1. Haga clic en el icono del menú de usuario (arriba a la derecha)

2. Seleccione Centro de ayuda → Contactar con soporte

3. Describa el problema de seguridad con:

   • Pregunta exacta o prompt que utilizó

   • Respuesta de la IA (captura de pantalla si es posible)

   • Por qué cree que es un problema de seguridad

   • Fecha y hora de la interacción

4. El soporte investigará y responderá en un plazo de 48 horas

Qué sucede después de informar

Su informe activa nuestro proceso de gobernanza:

1. Revisión inmediata (en 48 horas): El equipo de soporte evalúa la gravedad y el impacto

2. Investigación: El equipo técnico analiza el problema, lo reproduce e identifica la causa raíz

3. Respuesta: Recibirá una actualización sobre los hallazgos y las acciones planificadas

4. Remediación: Los problemas se abordan mediante actualizaciones del modelo, ajuste de la recuperación, correcciones de código o mejoras en la documentación

5. Mejora continua: Las lecciones aprendidas se integran en los procesos de prueba y monitoreo

Limitaciones y restricciones conocidas

Limitaciones actuales de la IA

• No puede navegar por Internet en busca de información actual (utiliza una base de conocimientos entrenada)

• No puede acceder a bases de datos o API externas en tiempo real

• No puede ejecutar código ni ejecutar herramientas de pruebas de seguridad

• No puede hacer llamadas telefónicas ni enviar correos electrónicos en su nombre

• No puede garantizar el 100% de precisión (verifique siempre la información crítica)

Límites de alcance

• Centrado en ISMS y cumplimiento (no es una IA de propósito general)

• No puede proporcionar asesoramiento legal, médico o financiero fuera del contexto de cumplimiento

• No puede sustituir los estándares oficiales ni el juicio del auditor

• No puede garantizar el éxito de la auditoría (la calidad de la implementación es importante)

Pasos siguientes

• Más información sobre las medidas de seguridad y cifrado de datos

• Comprenda sus derechos de privacidad bajo el GDPR

• Configure espacios de trabajo para el aislamiento de datos

• Visite el Centro de confianza para obtener documentación detallada sobre la gobernanza de la IA

Obtener ayuda

Para preguntas sobre la seguridad de la IA y el uso responsable:

• Revise el Centro de confianza para obtener información detallada sobre la gobernanza de la IA

• Contacte con el soporte a través del menú del Centro de ayuda

• Informe de las preocupaciones de seguridad inmediatamente para su investigación

• Consulte la página de estado para conocer los problemas conocidos