Seguridad de IA

Descripción técnica del sistema de IA

Resumen

Este artículo proporciona transparencia técnica sobre cómo se construyen, prueban y operan los sistemas de IA de ISMS Copilot. Estos detalles demuestran nuestro compromiso con el desarrollo responsable de la IA a través de prácticas de implementación verificables.

A quién va dirigido

Este artículo es para:

  • Equipos de seguridad y cumplimiento que evalúan los controles de gobernanza de la IA

  • Auditores que evalúan la implementación del sistema de IA frente a las políticas

  • Gestores de riesgos que requieren transparencia técnica para los sistemas de IA

  • Usuarios técnicos que desean comprender la arquitectura de la IA

Implementación de ISO 42001

El sistema de IA de ISMS Copilot está diseñado y operado de acuerdo con los requisitos de la norma ISO 42001:2023 (Sistema de Gestión de Inteligencia Artificial). Nuestra implementación técnica se ajusta a controles específicos de la norma ISO 42001:

Alineación de la arquitectura:

  • A.4.2 (Establecimiento del contexto): Sistema dinámico de inyección de conocimiento del framework documentado en el Documento de Diseño del Sistema de IA (AI-SDD-001)

  • A.5 (Evaluación de impacto): Evaluación integral del impacto de la IA (1.9 de bajo riesgo, clasificación de riesgo limitado de la Ley de IA de la UE)

  • A.6 (Desarrollo responsable): Ciclo de vida de desarrollo seguro con pruebas de regresión, escaneo SAST/DAST y pruebas de inyección de prompts

  • A.7 (Gestión de datos): Acuerdos de Retención de Datos Cero (ZDR), aislamiento de espacios de trabajo y períodos de retención controlados por el usuario

  • A.8 (Interacción con el usuario): Avisos de transparencia, diseño con intervención humana y descargos de responsabilidad de verificación en toda la plataforma

  • A.9 (Uso responsable): Limitación de la finalidad, prevención de "jailbreak" y controles de alcance de contenido

Consulte Cómo implementa ISMS Copilot la norma ISO 42001 para obtener la documentación completa de nuestro sistema de gestión de IA, evaluaciones de riesgos, pruebas de sesgo y supervisión del rendimiento.

Arquitectura dinámica de inyección de conocimiento del framework

ISMS Copilot utiliza la inyección dinámica de conocimiento de frameworks para fundamentar las respuestas de la IA en conocimientos de cumplimiento verificados. A partir de la versión 2.5 (febrero de 2025), esto sustituye a la anterior arquitectura RAG (generación aumentada por recuperación) por un enfoque más fiable y eficiente en el uso de tokens.

Cómo funciona la inyección de conocimiento del framework

Componentes de la arquitectura:

  • Capa de detección de frameworks: El emparejamiento de patrones basado en Regex detecta menciones de frameworks en las consultas de los usuarios (ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701, Ley de IA de la UE)

  • Capa de inyección de conocimiento: Carga dinámicamente solo el conocimiento del framework relevante en el contexto de la IA basándose en los frameworks detectados

  • Capa de generación: Los modelos de lenguaje extensos (LLM) de proveedores de IA empresariales reciben el conocimiento del framework antes de generar las respuestas

  • Mecanismo de validación: El conocimiento del framework proporcionado a la IA garantiza que las respuestas se basen en requisitos de cumplimiento reales, no en conjeturas probabilísticas

La inyección dinámica de conocimiento del framework elimina las alucinaciones al proporcionar a la IA el conocimiento real del framework antes de que responda. La detección ocurre antes del procesamiento de la IA (no se basa en IA), lo que garantiza una fiabilidad del 100% cuando se mencionan los frameworks.

Por qué es importante la inyección dinámica para el cumplimiento:

  • Elimina las alucinaciones: La IA recibe conocimiento verificado del framework antes de responder, evitando números de control y requisitos inventados

  • Eficiencia de tokens: Solo se cargan los frameworks relevantes (~1-2K tokens) en lugar de enviar todo el conocimiento (~10K tokens) en cada solicitud

  • Detección fiable: El emparejamiento de patrones Regex (no basado en IA) garantiza que nunca se pasen por alto las menciones a los frameworks

  • Arquitectura extensible: Se añaden nuevos frameworks con una única definición de objeto, sin necesidad de reentrenar el modelo

  • Soporte multiframework: Gestiona consultas que mencionan varios frameworks simultáneamente (por ejemplo, "Map ISO 27001 to SOC 2")

Implementación técnica

Proceso de detección:

  1. El usuario envía la consulta (por ejemplo, "¿Qué es el Anexo A.5.9 de la ISO 27001?")

  2. La detección de frameworks escanea la consulta en busca de coincidencias de patrones (ISO 27001, GDPR, SOC 2, etc.)

  3. Los frameworks detectados activan la inyección de conocimientos

  4. Se añade el conocimiento del framework relevante al prompt del sistema de IA antes de la generación

Frameworks compatibles (v2.5):

  • ISO 27001:2022 — Sistema de Gestión de Seguridad de la Información

  • ISO 42001:2023 — Sistema de Gestión de Inteligencia Artificial

  • ISO 27701:2025 — Sistema de Gestión de Información de Privacidad

  • SOC 2 — Control de Organización de Servicios (Criterios de Servicios de Confianza)

  • HIPAA — Ley de Portabilidad y Responsabilidad del Seguro Médico

  • GDPR — Reglamento General de Protección de Datos

  • CCPA — Ley de Privacidad del Consumidor de California

  • NIS 2 — Directiva sobre Seguridad de las Redes y de la Información

  • DORA — Ley de Resiliencia Operativa Digital

  • Ley de IA de la UE — Ley de Inteligencia Artificial de la Unión Europea

Se añaden continuamente más frameworks. Las próximas prioridades incluyen NIST 800-53, PCI DSS y normativas regionales adicionales. Consulte el registro de cambios del producto para ver las actualizaciones.

Evolución de RAG a la inyección dinámica

Enfoque anterior (Pre-v2.5): Arquitectura RAG

  • La búsqueda semántica recuperaba fragmentos de documentación relevantes

  • La calidad de la recuperación variaba según la redacción de la consulta

  • Se enviaban los ~10K tokens de conocimiento en muchas solicitudes

  • Centrado principalmente en ISO 27001

Enfoque actual (v2.5+): Inyección dinámica de frameworks

  • La detección basada en Regex garantiza una identificación fiable de los frameworks

  • Solo se cargan los frameworks relevantes (eficiencia de tokens)

  • Soporta 10 frameworks simultáneamente

  • Diseño extensible para adiciones rápidas de frameworks

Si encuentra referencias a la "arquitectura RAG" en documentación antigua o fuentes externas, tenga en cuenta que ISMS Copilot pasó a la inyección dinámica de conocimiento de frameworks en la versión 2.5 (febrero de 2025). El nuevo enfoque es más fiable y soporta muchos más frameworks.

Proveedores de IA y protección de datos

Utilizamos proveedores de IA de categoría empresarial con estrictos acuerdos de protección de datos.

Proveedores actuales

Modelos de IA de backend:

  • Anthropic Claude (predeterminado) — Respuestas de chat y análisis de cumplimiento

  • xAI Grok — Generación y formateo de documentos

  • OpenAI GPT — Detección (identificación y análisis del tipo de documento)

  • Mistral AI — Proveedor con sede en la UE para el Modo de Protección de Datos Avanzado

Anthropic Claude es el proveedor predeterminado para las conversaciones de chat, con conmutación por error automática a OpenAI si Anthropic experimenta interrupciones. xAI Grok se encarga de la generación y el formateo de documentos, mientras que OpenAI GPT se utiliza para tareas de detección. Cuando se activa la Protección de Datos Avanzada, todas las operaciones cambian a Mistral AI (con sede en la UE). Todos los modelos acceden a la misma base de conocimientos de cumplimiento especializada a través de la inyección dinámica de frameworks, lo que garantiza una orientación coherente y fiable.

Acuerdos de retención de datos cero

Todos los proveedores de IA operan bajo acuerdos de Retención de Datos Cero (ZDR):

Sus datos NUNCA se utilizan para entrenar modelos de IA. Los acuerdos ZDR garantizan que sus conversaciones, documentos cargados y contenido del espacio de trabajo sigan siendo confidenciales y no sean retenidos por los proveedores de IA más allá del procesamiento de sus solicitudes.

Términos del acuerdo ZDR:

  • No hay retención de datos de usuario más allá del procesamiento de la solicitud

  • No hay entrenamiento de modelos con el contenido del cliente

  • Transferencias de datos conformes con el GDPR mediante Cláusulas Contractuales Tipo (SCC)

  • Cumplimiento de los estándares de seguridad empresarial

Para obtener información detallada sobre los encargados del tratamiento y los flujos de datos, consulte nuestro Registro de actividades de tratamiento.

Requisitos de desarrollo

Cada componente del sistema de IA se desarrolla de acuerdo con requisitos documentados que definen el comportamiento esperado, las restricciones de seguridad y los umbrales de rendimiento.

Requisitos funcionales

Definición del alcance:

  • La IA proporciona asistencia para el cumplimiento, no asesoramiento legal

  • Límites de las tareas: generación de políticas, análisis de brechas, preparación de auditorías, revisión de documentos

  • Aplicación de restricciones: sin acceso a Internet, sin ejecución de código, sin procesamiento de datos personales más allá del uso de la plataforma

Requisitos de rendimiento

Objetivos de calidad:

  • Precisión de la respuesta fundamentada en las fuentes recuperadas con citación

  • Ventana de contexto suficiente para el análisis de cumplimiento de múltiples documentos

  • Tiempo de respuesta optimizado para el uso interactivo (objetivo: menos de 10 segundos)

  • Límites de velocidad definidos por nivel de usuario para garantizar la estabilidad del sistema

Requisitos de seguridad

Mitigación de alucinaciones:

  • Fundamentación de las fuentes: las respuestas deben hacer referencia a la documentación recuperada

  • Validación de la recuperación: las respuestas se cotejan con el contenido de la fuente

  • Puntuación de confianza: se reconoce la incertidumbre cuando las fuentes son ambiguas

  • Descargos de responsabilidad de verificación del usuario: todos los resultados requieren revisión humana

Filtrado de contenido:

  • Detección y bloqueo de contenidos inapropiados

  • Límites de alcance: la IA rechaza solicitudes fuera de alcance (por ejemplo, temas no relacionados, asesoramiento médico/legal)

  • Protección contra jailbreak e inyección de prompts

Consulte el Resumen de seguridad de la IA y uso responsable para obtener información detallada sobre los controles de seguridad.

Requisitos de manejo de datos

Privacidad desde el diseño:

  • No se utilizan datos de usuario para el entrenamiento de modelos (se aplican acuerdos ZDR)

  • Minimización de datos: solo se procesan los datos necesarios para la recuperación y generación

  • Procesamiento temporal: no se almacenan los prompts/respuestas a largo plazo más allá de los registros de sesión del usuario

  • Controles de retención: periodos de retención de datos configurables por el usuario (de 1 día a 7 años, o conservar para siempre)

  • Controles de transferencia: transferencias de datos conformes con el GDPR mediante SCC

Para conocer las prácticas integrales de manejo de datos, consulte nuestra Política de Privacidad.

Pruebas de verificación y validación

Los sistemas de IA se someten a rigurosas pruebas antes de su despliegue. Ningún sistema entra en funcionamiento sin superar la validación basada en requisitos.

Pruebas de regresión

Se ejecutan pruebas automatizadas en cada cambio de código para garantizar que la funcionalidad existente permanezca intacta.

Cobertura de las pruebas:

  • Precisión de la recuperación: Precisión y exhaustividad frente a conjuntos de datos de referencia (ground truth)

  • Fundamentación de la respuesta: Verificación de que los resultados citan las fuentes recuperadas

  • Detección de alucinaciones: Comparación con respuestas incorrectas conocidas

  • Puntos de referencia de rendimiento: Validación del tiempo de respuesta y de la gestión del contexto

Pruebas de seguridad

Los sistemas de IA se someten a la misma validación de seguridad que todos los componentes de la plataforma.

Canal de pruebas:

  • SAST (Pruebas de seguridad de aplicaciones estáticas): Escaneo de vulnerabilidades a nivel de código con integración de Semgrep

  • DAST (Pruebas de seguridad de aplicaciones dinámicas): Validación de seguridad en tiempo de ejecución

  • Pruebas de penetración: Evaluaciones anuales de seguridad por parte de terceros

  • Pruebas de inyección de prompts: Validación contra entradas adversarias que intentan eludir las restricciones de seguridad

Nuestro ciclo de vida de desarrollo seguro garantiza que los sistemas de IA cumplan con los mismos estándares de seguridad que todos los demás componentes de la plataforma. Consulte nuestras Políticas de seguridad para conocer las prácticas de prueba detalladas.

Pruebas de aceptación del usuario

La validación de escenarios del mundo real con profesionales del cumplimiento garantiza que:

  • Los resultados cumplen con los estándares de calidad profesional

  • Las respuestas son adecuadas para los casos de uso de cumplimiento

  • Las limitaciones se comunican claramente

  • Los mecanismos de retroalimentación son accesibles y eficaces

Lista de comprobación de validación de despliegue

Los sistemas de IA se despliegan únicamente tras cumplir los requisitos documentados:

El despliegue requiere el éxito del 100% en las pruebas de regresión, escaneos de seguridad superados (sin vulnerabilidades críticas o de gravedad alta), haber cumplido los puntos de referencia de rendimiento, documentación de usuario actualizada con las limitaciones y configuración de supervisión/alertas para el seguimiento de la tasa de alucinaciones.

Los despliegues que no superen la validación se revierten hasta que se cumplan los requisitos.

Supervisión y mejora continua

Tras el despliegue, supervisamos el comportamiento del sistema de IA para detectar degradaciones, problemas emergentes o usos indebidos.

Métricas de supervisión

Qué rastreamos:

  • Tasa de alucinaciones: Se rastrea a través de informes de usuarios y detección automatizada

  • Precisión de la respuesta: Validación muestreada frente a los estándares de cumplimiento de referencia

  • Patrones de uso: Detección de uso fuera de alcance o inapropiado

  • Métricas de rendimiento: Tiempo de respuesta, precisión de la recuperación, tasas de error

  • Comentarios de los usuarios: Informes de impacto adverso, tickets de soporte, solicitudes de funciones

Ciclo de mejora continua

Los datos de la supervisión informan las mejoras iterativas:

Bucles de retroalimentación:

  • Comentarios de los usuarios e informes de impacto adverso → actualizaciones del modelo y ajuste de la recuperación

  • Resultados de las pruebas de seguridad → mejoras de seguridad y actualizaciones de los controles

  • Cambios normativos y mejores prácticas → actualizaciones de la documentación y del framework

  • Supervisión del rendimiento → mejoras de la precisión y optimización de las respuestas

Respuesta ante incidentes

Notificamos a los usuarios los incidentes relacionados con la IA para mantener la transparencia y la confianza.

Canales de notificación:

  • Alertas por correo electrónico para incidentes críticos que afecten a la funcionalidad de la IA

  • Notificaciones de Slack para los equipos suscritos

  • Actualizaciones de la página de estado con cronogramas y resoluciones de incidentes

  • Notificaciones de alerta temprana conformes con NIS2 (notificación en 24 horas para incidentes significativos de ciberseguridad)

Suscríbase a nuestra página de estado para recibir notificaciones en tiempo real sobre incidentes del sistema de IA, mantenimiento y actualizaciones.

Limitaciones conocidas

Los sistemas de IA tienen limitaciones inherentes que los usuarios deben comprender para utilizarlos de forma responsable.

Limitaciones técnicas

Los resultados de la IA pueden contener imprecisiones (alucinaciones) incluso con la inyección de conocimiento del framework. Los usuarios deben verificar todos los resultados con los estándares y normativas oficiales.

Restricciones actuales:

  • Naturaleza probabilística: La IA genera respuestas basadas en patrones estadísticos, no en una lógica determinista

  • Sin acceso a Internet: La IA no puede recuperar información en tiempo real ni acceder a sitios web externos

  • Sin ejecución de código: La IA no puede realizar cálculos, ejecutar scripts ni validar implementaciones técnicas

  • Corte de conocimiento: El conocimiento del modelo de IA está limitado a las fechas de corte de los datos de entrenamiento (varía según el proveedor)

  • Límites de contexto: La ventana de contexto máxima limita la cantidad de información procesada en una sola solicitud

  • Límites de dominio: La IA está entrenada para el cumplimiento/seguridad; el rendimiento en otros dominios no está garantizado

Para conocer detalladamente las limitaciones y soluciones alternativas, consulte nuestra página de Problemas Conocidos.

Responsabilidad de verificación del usuario

ISMS Copilot está diseñado para asistir, no para sustituir al juicio profesional:

  • Coteje las sugerencias de la IA con los estándares oficiales

  • Valide la información crítica antes de enviarla a los auditores

  • Utilice la IA como el asistente de un consultor, no como un sustituto de la experiencia

  • Ejerza el juicio profesional al aplicar las recomendaciones de la IA

Consulte Cómo utilizar ISMS Copilot de forma responsable para conocer las mejores prácticas de verificación.

Informes y retroalimentación

Los comentarios de los usuarios son fundamentales para la mejora del sistema de IA. Proporcionamos múltiples mecanismos para informar de problemas, imprecisiones o comportamientos inesperados.

Cómo informar de problemas

Impactos adversos o alucinaciones:

  1. Navegue hasta el menú de usuario (arriba a la derecha) > Centro de ayuda > Contactar con soporte

  2. Incluya el prompt, la respuesta y capturas de pantalla en su informe

  3. Espere respuesta en un plazo de 48 horas

Informes dentro de la plataforma:

  • Utilice el botón "Report Issue" (Informar de un problema) disponible en toda la plataforma para marcar respuestas específicas de la IA

Qué ocurre después de informar

  1. Revisión inmediata (en 24-48 horas): El equipo de soporte evalúa la gravedad y el impacto

  2. Investigación: El equipo técnico analiza la incidencia, reproduce el problema e identifica la causa raíz

  3. Respuesta: Recibirá una actualización sobre los hallazgos y las acciones previstas

  4. Remediación: Los problemas se abordan mediante actualizaciones del modelo, ajustes de recuperación, correcciones de código o mejoras de la documentación

  5. Mejora continua: Las lecciones aprendidas se integran en los procesos de prueba y supervisión

Los problemas de gravedad alta (riesgos de seguridad, fugas de datos, alucinaciones críticas) se escalan inmediatamente para su remediación urgente.

Consulte el Resumen de seguridad de la IA y uso responsable para obtener instrucciones detalladas sobre cómo informar.

Actualizaciones de la documentación

Las especificaciones técnicas se actualizan cuando:

  • Cambian los proveedores de IA (nuevos modelos, API obsoletas)

  • La arquitectura evoluciona (nuevos componentes, métodos de validación)

  • Se revisan los requisitos (nuevas restricciones de seguridad, objetivos de rendimiento)

  • Se amplían las prácticas de prueba (nuevas técnicas de validación, herramientas de seguridad)

Las actualizaciones se comunican a través de las notas de la versión y de esta página de documentación. Suscríbase a nuestra página de estado para recibir notificaciones de cambios.

Pasos siguientes

  • Revise cómo implementa ISMS Copilot la norma ISO 42001

  • Conozca los controles de seguridad de la IA y las prácticas de uso responsable

  • Comprenda qué son las alucinaciones de la IA y cómo prevenirlas

  • Siga las mejores prácticas para utilizar ISMS Copilot de forma responsable

  • Revise nuestras exhaustivas Políticas de seguridad

Obtención de ayuda

Para preguntas técnicas sobre las especificaciones del sistema de IA o para solicitar documentación adicional:

  • Contacte con el servicio de soporte a través del menú del Centro de ayuda

  • Informe de las preocupaciones de seguridad inmediatamente para su investigación

  • Revise el Centro de Confianza para obtener información detallada sobre la gobernanza de la IA

  • Consulte la Página de Estado para conocer los problemas conocidos

¿Te fue útil?