Descripción General de la Seguridad y Uso Responsable de la IA

Descripción General

ISMS Copilot implementa medidas integrales de seguridad de IA para garantizar una asistencia de IA fiable, confiable y responsable para los profesionales de cumplimiento. Este artículo explica las salvaguardas, las restricciones de seguridad y las prácticas de IA responsable integradas en la plataforma.

A quién va dirigido

Este artículo es para:

• Profesionales de cumplimiento que evalúan las medidas de seguridad de la IA

• Gestores de riesgos que evalúan los controles de gobernanza de la IA

• Equipos de seguridad preocupados por el mal uso de la IA

• Cualquier persona que quiera entender cómo ISMS Copilot garantiza el uso responsable de la IA

Principios de Seguridad de la IA

El marco de seguridad de IA de ISMS Copilot se basa en cuatro principios fundamentales:

1. Limitación de la Finalidad

El asistente de IA está diseñado exclusivamente para el trabajo de seguridad de la información y cumplimiento:

• Enfocado en marcos de ISMS (ISO 27001, SOC 2, GDPR, NIST, etc.)

• Redirige cortésmente las preguntas fuera de contexto hacia temas relacionados con el cumplimiento

• Rechaza solicitudes para actividades dañinas, ilegales o poco éticas

• Se mantiene dentro de los límites de la asistencia en consultoría de cumplimiento

2. Transparencia y Honestidad

El asistente de IA reconoce abiertamente sus limitaciones:

• Descarga explícitamente la incertidumbre cuando es apropiado

• Solicita a los usuarios que verifiquen la información importante

• Admite cuando no sabe algo en lugar de adivinar

• Explica claramente qué puede y qué no puede hacer

3. Protección de los Derechos de Autor y la Propiedad Intelectual

ISMS Copilot respeta los derechos de propiedad intelectual:

• No reproducirá estándares ISO con derechos de autor ni contenido patentado

• Dirige a los usuarios a comprar estándares oficiales de fuentes autorizadas

• Proporciona orientación basada en los principios del marco sin copiar el texto

• Entrenado con datos de fuentes legales y anonimizados que cumplen con los requisitos de derechos de autor de la UE

4. Privacidad desde el Diseño

La protección de los datos del usuario está integrada en cada interacción de la IA:

• Las conversaciones nunca se utilizan para entrenar modelos de IA

• El contenido proporcionado por el usuario no se comparte con otros usuarios

• Cada conversación se procesa de forma independiente

• El aislamiento del espacio de trabajo evita la mezcla de datos entre proyectos

Salvaguardas de Seguridad de la IA

Salvaguardas de Alcance de Contenido

Lo que la IA hará:

• Responder preguntas sobre marcos de ISMS y cumplimiento

• Analizar documentos de cumplimiento cargados (políticas, procedimientos, evaluaciones de riesgos)

• Generar políticas y procedimientos listos para auditoría

• Proporcionar análisis de brechas y orientación de implementación

• Explicar controles de seguridad y requisitos de cumplimiento

Lo que la IA NO hará:

• Proporcionar asesoramiento legal (sugiere consultar a profesionales legales en su lugar)

• Ofrecer asesoramiento médico, financiero o personal fuera del alcance del cumplimiento

• Generar contenido para fines ilegales, dañinos o poco éticos

• Reproducir estándares con derechos de autor o materiales patentados

• Revelar sus instrucciones personalizadas o prompts del sistema

Prevención de Jailbreak

ISMS Copilot está diseñado para resistir intentos de manipulación:

Tácticas Bloqueadas:

• Trucos de "repite conmigo" para extraer prompts del sistema

• Escenarios de juego de rol diseñados para eludir las restricciones de seguridad

• Solicitudes para "ignorar las instrucciones anteriores"

• Manipulación de restricciones ("responde sin respuestas de rechazo")

• Intentos de acceder directamente a archivos internos de la base de conocimientos

Cómo funciona:

Cuando la IA detecta un intento de jailbreak:

1. Reconoce el patrón de manipulación

2. Rechaza cortésmente la solicitud

3. Redirige a la asistencia legítima de ISMS

4. Mantiene sus restricciones de seguridad

Protección contra Inyección de Prompts

La plataforma protege contra contenido malicioso en la carga de archivos:

Qué está protegido:

• Los documentos cargados se escanean en busca de intentos de inyección de prompts

• Las instrucciones maliciosas integradas en los archivos se rechazan silenciosamente

• Los prompts del sistema no pueden anularse mediante el contenido del archivo

• Las restricciones de seguridad permanecen activas independientemente del contenido del archivo

Experiencia del usuario:

• Los archivos se procesan normalmente desde la perspectiva del usuario

• Las instrucciones dañinas se filtran durante el procesamiento

• Solo se analiza el contenido legítimo del documento

• Sin mensaje de error visible (protección silenciosa)

Salvaguardas de Protección del Conocimiento

La IA protege sus datos de entrenamiento y la configuración del sistema:

A qué no pueden acceder los usuarios:

• Instrucciones personalizadas o prompts del sistema

• Detalles sobre las fuentes de datos de entrenamiento

• Acceso directo a archivos de la base de conocimientos

• Enlaces de descarga para documentos internos

• Información sobre cómo está estructurada la base de conocimientos

Por qué es importante:

Proteger los prompts del sistema y los datos de entrenamiento evita:

• Que los adversarios comprendan cómo manipular la IA

• Violaciones de derechos de autor por la reproducción de materiales de entrenamiento

• Riesgos de seguridad por la exposición de la arquitectura del sistema

• Comportamiento inconsistente por instrucciones modificadas

Prevención de Alucinaciones

¿Qué son las alucinaciones?

Las alucinaciones de la IA ocurren cuando la IA genera información que suena confiable pero es tácticamente incorrecta. ISMS Copilot aborda esto a través de múltiples mecanismos:

Inyección Dinámica de Conocimiento de Marcos (v2.5)

A partir de febrero de 2025, ISMS Copilot v2.5 casi elimina las alucinaciones para preguntas específicas de marcos mediante la inyección dinámica de conocimiento de marcos:

• Detecta menciones de marcos en sus preguntas mediante la concordancia de patrones regex (ISO 27001, GDPR, SOC 2, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701)

• Inyecta conocimiento verificado del marco en el contexto de la IA antes de generar respuestas

• La IA responde basándose en el conocimiento del marco proporcionado, no en la memoria probabilística

• La detección no basada en IA garantiza una fiabilidad del 100% cuando se mencionan los marcos

• Soporta 9 marcos con inyección de conocimiento dedicada

Entrenamiento con Conocimiento del Mundo Real

Más allá de la inyección de conocimiento de marcos, ISMS Copilot está entrenado en conocimiento especializado de cumplimiento:

• Biblioteca propia de conocimiento de cumplimiento de cientos de proyectos de consultoría reales

• Basado en la experiencia de implementación práctica, no en información teórica

• Enfocado en marcos, estándares y prácticas probadas

• Actualizado regularmente con los requisitos de cumplimiento actuales

Reconocimiento de Incertidumbre

La IA tiene instrucciones de ser honesta sobre sus limitaciones:

• Indica explícitamente cuando no está segura de la información

• Solicita a los usuarios que verifiquen la información crítica

• Evita inventar hechos cuando el conocimiento está incompleto

• Sugiere consultar estándares oficiales o profesionales legales cuando sea apropiado

Ejemplo de respuesta:

"Aunque puedo proporcionar orientación general sobre el control A.8.1 de ISO 27001, todavía es probable que cometa errores. Para fines de auditoría, verifique esta información con la norma oficial ISO 27001:2022."

Responsabilidad de Verificación del Usuario

ISMS Copilot enfatiza que los usuarios deben:

• Contrastar las sugerencias de la IA con los estándares oficiales

• Validar la información crítica antes de enviarla a los auditores

• Utilizar la IA como asistente de un consultor, no como reemplazo de la experiencia

• Ejercer el juicio profesional al aplicar las recomendaciones de la IA

Limitación de Tasa y Protección de Recursos

Límites de Tasa de Mensajes

ISMS Copilot implementa límites de tasa para evitar abusos y garantizar un acceso justo:

Plan Gratuito:

• 10 mensajes por cada ventana móvil de 4 horas

• El contador se reinicia después de 4 horas desde el primer mensaje

• Se aplica tanto en el frontend como en el backend

Plan Premium:

• Mensajes ilimitados

• Sin restricciones de límite de tasa

• Procesamiento prioritario

Cuando se alcanza el límite de tasa:

Verá el mensaje de error: "Se ha alcanzado el límite de mensajes diarios. Por favor, actualice a premium para obtener mensajes ilimitados."

Límites de Carga de Archivos

Las cargas de archivos tienen restricciones de seguridad para proteger los recursos del sistema:

Tamaño de Archivo:

• Máximo: 10MB por archivo

• Mensaje de error: "El archivo 'documento.pdf' es demasiado grande (15.23MB). El tamaño máximo permitido es 10MB."

Tipos de Archivo Soportados:

• TXT, CSV, JSON (archivos de texto)

• PDF (documentos)

• DOC, DOCX (Microsoft Word)

• XLS, XLSX (Microsoft Excel)

Restricciones de Carga:

• Un archivo a la vez (no se admite carga por lotes)

• No se pueden cargar archivos duplicados para el mismo mensaje

• Los tipos de archivo no soportados se rechazan con un mensaje de error

Modo de Chat Temporal

¿Qué es el Chat Temporal?

El modo de chat temporal ofrece conversaciones que preservan la privacidad con un manejo de datos específico:

Cómo funciona:

1. Seleccione "Chat temporal" en la pantalla de bienvenida

2. Verá el aviso: "Este chat no aparecerá en el historial. Por motivos de seguridad, podemos conservar una copia de este chat hasta por 30 días."

3. Envíe mensajes y cargue archivos como de costumbre

4. La conversación no se agrega a su historial de conversaciones

5. Los datos pueden conservarse hasta 30 días para revisión de seguridad

Cuándo usar el Chat Temporal:

• Preguntas rápidas y puntuales que no necesitan guardarse

• Discusiones sensibles que no desea en el historial permanente

• Probar consultas antes de comprometerse con un espacio de trabajo

• Investigación exploratoria sobre temas de cumplimiento

Controles de Retención de Datos

Retención Controlada por el Usuario

Usted decide cuánto tiempo se almacenan sus datos de conversación:

1. Haga clic en el icono del menú de usuario (arriba a la derecha)

2. Seleccione Configuración

3. En el campo Periodo de Retención de Datos, elija:

   • Mínimo: 1 día (trabajo a corto plazo de alta seguridad)

   • Máximo: 24,955 días / 7 años (documentación a largo plazo)

   • O haga clic en Mantener para siempre para una retención indefinida

4. Haga clic en Guardar configuración

Resultado esperado: El diálogo de configuración se cierra y se guarda el periodo de retención.

Eliminación Automática de Datos

ISMS Copilot elimina automáticamente los datos antiguos:

• La tarea de eliminación se ejecuta diariamente

• Elimina mensajes más antiguos que su periodo de retención

• Elimina archivos cargados asociados

• Es permanente y no se puede recuperar

Funciones de Seguridad del Espacio de Trabajo

Aislamiento de Datos

Los espacios de trabajo proporcionan límites de seguridad para diferentes proyectos:

Cómo funciona el aislamiento:

• Cada espacio de trabajo tiene un historial de conversación separado

• Los archivos cargados están vinculados a espacios de trabajo específicos

• Las instrucciones personalizadas son específicas de cada espacio de trabajo

• Al eliminar un espacio de trabajo se eliminan todos los datos asociados

• La IA no comparte información entre espacios de trabajo

Seguridad de Instrucciones Personalizadas

Los espacios de trabajo permiten instrucciones personalizadas con restricciones de seguridad:

Qué pueden hacer las instrucciones personalizadas:

• Especificar el enfoque en marcos de cumplimiento particulares

• Establecer el tono o el nivel de detalle de las respuestas

• Definir el contexto específico del proyecto (industria, tamaño de la organización)

• Guiar a la IA hacia objetivos de cumplimiento específicos

Restricciones de seguridad:

• Las instrucciones personalizadas deben estar relacionadas con el cumplimiento

• No pueden anular las salvaguardas de seguridad principales

• No pueden instruir a la IA a ignorar las protecciones de derechos de autor

• No pueden eludir las limitaciones de alcance de contenido

Sin Entrenamiento con Datos de Usuario

Garantía de Privacidad

ISMS Copilot se compromete a no utilizar nunca sus datos para el entrenamiento de la IA:

Qué significa esto:

• Sus conversaciones nunca se reincorporan al modelo de IA

• Los documentos cargados siguen siendo confidenciales y privados

• La información del cliente nunca contribuye a la mejora del modelo

• Cada conversación se procesa de forma independiente sin aprendizaje

Cómo le protege esto:

• Se mantiene la confidencialidad del cliente

• La información patentada permanece privada

• Los datos sensibles de cumplimiento no se comparten con otros usuarios

• No hay riesgo de que la IA revele accidentalmente su información a otros

Transparencia en el Procesamiento de Datos

ISMS Copilot es transparente sobre cómo se utilizan sus datos:

Cómo SE UTILIZAN sus datos:

• Procesar sus preguntas para generar respuestas

• Analizar documentos cargados para el análisis de brechas

• Mantener el contexto de la conversación dentro de un espacio de trabajo

• Almacenar datos de acuerdo con su configuración de retención

• Monitoreo de seguridad por hasta 30 días (para prevenir abusos)

Cómo NO SE UTILIZAN sus datos:

• Entrenar o ajustar modelos de IA

• Compartir con otros usuarios o clientes

• Fines de marketing o publicidad

• Venta a terceros

• Divulgación pública o casos de estudio (sin permiso explícito)

Autenticación y Control de Acceso

Requisitos de Autenticación de Usuario

Todas las interacciones de IA requieren autenticación:

• No se pueden enviar mensajes sin iniciar sesión

• El token JWT valida cada solicitud de API

• Las sesiones caducan después de un periodo de inactividad

• La seguridad a nivel de fila garantiza que los usuarios solo vean sus propios datos

Protección entre Usuarios

El aislamiento a nivel de base de datos evita el acceso no autorizado:

• Los usuarios no pueden acceder a las conversaciones de otros usuarios

• Intentar acceder a los datos de otro usuario devuelve resultados vacíos

• Todas las consultas se filtran automáticamente por el ID de usuario autenticado

• Incluso los administradores siguen el principio de privilegio mínimo

Mejores Prácticas de IA Responsable

Para los Usuarios

Obtención de los mejores resultados:

• Haga preguntas específicas relacionadas con marcos (ej. "¿Cómo implemento el control A.8.1 de ISO 27001?")

• Proporcione contexto sobre su organización y objetivos de cumplimiento

• Cargue documentos relevantes para un análisis de brechas preciso

• Revise y refine el contenido generado por la IA antes de usarlo

Prácticas de verificación:

• Contraste las sugerencias de la IA con los estándares oficiales

• Valide la información crítica con expertos en cumplimiento

• Pruebe las políticas generadas por la IA en su contexto organizacional

• Use la IA como asistente, no como reemplazo de la experiencia

Para las Organizaciones

Prácticas de Gobernanza:

• Documente el uso de ISMS Copilot en su política de gobernanza de IA

• Capacite al personal sobre el uso apropiado y las limitaciones

• Establezca periodos de retención de datos alineados con sus políticas

• Revise el contenido generado por la IA antes del envío oficial

• Mantenga la supervisión humana para las decisiones críticas de cumplimiento

Gestión de Riesgos:

• Incluya las herramientas de IA en las Evaluaciones de Impacto de Protección de Datos (DPIA)

• Documente los acuerdos de procesamiento de datos con ISMS Copilot

• Establezca periodos de retención adecuados para datos sensibles

• Use espacios de trabajo para aislar los datos de diferentes clientes o proyectos

Gobernanza de la IA en la Práctica

Más allá de las restricciones de seguridad, operamos nuestros sistemas de IA con una gobernanza de ciclo de vida completo. Así es como nuestras políticas se traducen en prácticas tangibles:

Proceso de Desarrollo

Requisitos y Pruebas:

• Cada función de IA tiene requisitos documentados que cubren capacidades funcionales, umbrales de rendimiento, restricciones de seguridad y estándares de manejo de datos

• Las pruebas de regresión se ejecutan en cada cambio de código para validar la precisión de la recuperación, el fundamento de la respuesta y la detección de alucinaciones

• Las pruebas de seguridad incluyen escaneos SAST/DAST, pruebas de penetración anuales y pruebas de inyección de prompts

• No se realiza ningún despliegue hasta que el 100% de las pruebas de regresión se aprueban y se eliminan todas las vulnerabilidades críticas

Detalles de la arquitectura (v2.5, febrero de 2025):

• Arquitectura de inyección dinámica de conocimiento de marcos (reemplaza el enfoque RAG anterior)

• La detección de marcos basada en Regex garantiza la identificación fiable de ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701

• Eficiencia de tokens: Solo se carga el conocimiento del marco relevante (en lugar de enviar los ~10K tokens en cada solicitud)

• Conocimiento del marco verificado proporcionado a la IA antes de la generación de respuesta

• Proveedores de IA configurables (Mistral, xAI, OpenAI) con acuerdos de retención de datos cero

Monitoreo y Mejora Continua

Qué monitoreamos:

• Tasas de alucinación rastreadas a través de informes de usuarios y detección automatizada contra verdades fundamentales conocidas

• Precisión de la respuesta muestreada y validada contra estándares oficiales de cumplimiento

• Patrones de uso analizados para detectar mal uso o aplicaciones no deseadas

• Métricas de rendimiento (tiempo de respuesta, precisión de recuperación, tasas de error) medidas continuamente

• Comentarios de los usuarios revisados regularmente para identificar riesgos emergentes

Cómo el monitoreo impulsa la mejora:

• Los comentarios de los usuarios informan las actualizaciones del modelo y el ajuste de recuperación

• Los resultados de las pruebas de seguridad impulsan las mejoras de seguridad

• Los cambios regulatorios y las actualizaciones de las mejores prácticas se reflejan en la documentación

• Los datos de rendimiento guían las mejoras iterativas en precisión y velocidad

Respuesta a Incidentes

Cómo comunicamos los problemas:

• Alertas por correo electrónico para incidentes críticos que afectan la funcionalidad de la IA

• Notificaciones de Slack para equipos con integraciones configuradas

• Actualizaciones de la página de estado con cronogramas de incidentes y resoluciones

• Notificaciones de alerta temprana compatibles con NIS2 (informes en 24 horas para incidentes de ciberseguridad significativos)

Informar Problemas de Seguridad

Cuándo informar

Contacte con el soporte de ISMS Copilot si encuentra:

• Respuestas de la IA que violan las restricciones de seguridad

• Alucinaciones potenciales o información fácticamente incorrecta

• Violaciones de derechos de autor en el resultado de la IA

• Contenido o comportamiento inapropiado

• Vulnerabilidades de seguridad en el sistema de IA

• Brechas de privacidad o fugas de datos

Cómo informar

1. Haga clic en el icono del menú de usuario (arriba a la derecha)

2. Seleccione Centro de ayuda → Contactar con soporte

3. Describa el problema de seguridad con:

   • Pregunta exacta o prompt que utilizó

   • Respuesta de la IA (captura de pantalla si es posible)

   • Por qué cree que es una preocupación de seguridad

   • Fecha y hora de la interacción

4. Soporte investigará y responderá en un plazo de 48 horas

Qué sucede después de informar

Su informe activa nuestro proceso de gobernanza:

1. Revisión inmediata (en 24-48 horas): El equipo de soporte evalúa la gravedad y el impacto

2. Investigación: El equipo técnico analiza el problema, lo reproduce e identifica la causa raíz

3. Respuesta: Usted recibe una actualización sobre los hallazgos y las acciones planificadas

4. Remediación: Los problemas se abordan mediante actualizaciones del modelo, ajuste de recuperación, correcciones de código o mejoras en la documentación

5. Mejora continua: Las lecciones aprendidas se integran en los procesos de prueba y monitoreo

Limitaciones y Restricciones Conocidas

Limitaciones Actuales de la IA

• No puede navegar por Internet para obtener información actual (utiliza una base de conocimientos entrenada)

• No puede acceder a bases de datos o API externas en tiempo real

• No puede ejecutar código ni ejecutar herramientas de prueba de seguridad

• No puede realizar llamadas telefónicas ni enviar correos electrónicos en su nombre

• No puede garantizar el 100% de precisión (verifique siempre la información crítica)

Límites de Alcance

• Enfocado en ISMS y cumplimiento (no es una IA de propósito general)

• No puede proporcionar asesoramiento legal, médico o financiero fuera del contexto del cumplimiento

• No puede reemplazar los estándares oficiales ni el juicio del auditor

• No puede garantizar el éxito de la auditoría (la calidad de la implementación importa)

Qué sigue

• Más información sobre las medidas de seguridad y cifrado de datos

• Entienda sus derechos de privacidad bajo el GDPR

• Configurar espacios de trabajo para el aislamiento de datos

• Visite el Centro de Confianza para obtener documentación detallada sobre gobernanza de IA

Obtener ayuda

Para preguntas sobre la seguridad de la IA y el uso responsable:

• Revise el Centro de Confianza para obtener información detallada sobre la gobernanza de la IA

• Contacte con el soporte a través del menú del Centro de ayuda

• Informe inmediatamente sobre preocupaciones de seguridad para su investigación

• Consulte la página de estado para problemas conocidos