Seguridad de IA

Descripción técnica del sistema de IA

Resumen

Este artículo proporciona transparencia técnica sobre cómo se construyen, prueban y operan los sistemas de IA de ISMS Copilot. Estos detalles demuestran nuestro compromiso con el desarrollo de IA responsable a través de prácticas de implementación verificables.

A quién va dirigido

Este artículo está destinado a:

  • Equipos de seguridad y cumplimiento que evalúan los controles de gobernanza de la IA

  • Auditores que evalúan la implementación del sistema de IA frente a las políticas

  • Gestores de riesgos que requieren transparencia técnica para los sistemas de IA

  • Usuarios técnicos que desean comprender la arquitectura de la IA

Implementación de ISO 42001

El sistema de IA de ISMS Copilot se diseña y opera de acuerdo con los requisitos de la norma ISO 42001:2023 (Sistema de Gestión de Inteligencia Artificial). Nuestra implementación técnica se alinea con controles específicos de ISO 42001:

Alineación de la arquitectura:

  • A.4.2 (Establecimiento del contexto): Sistema dinámico de inyección de conocimiento de marcos de trabajo documentado en el Documento de Diseño del Sistema de IA (AI-SDD-001)

  • A.5 (Evaluación de impacto): Evaluación exhaustiva del impacto de la IA (clasificación de Riesgo Bajo 1.9, según la Ley de IA de la UE de riesgo limitado)

  • A.6 (Desarrollo responsable): Ciclo de vida de desarrollo seguro con pruebas de regresión, escaneo SAST/DAST y pruebas de inyección de prompts

  • A.7 (Gestión de datos): Acuerdos de Retención de Datos Cero (ZDR), aislamiento de espacios de trabajo y períodos de retención controlados por el usuario

  • A.8 (Interacción con el usuario): Avisos de transparencia, diseño con intervención humana (human-in-the-loop) y avisos de verificación en toda la plataforma

  • A.9 (Uso responsable): Limitación de finalidad, prevención de seguridad (jailbreak) y barreras de protección de alcance de contenido

Consulte Cómo ISMS Copilot implementa ISO 42001 para obtener la documentación completa de nuestro sistema de gestión de IA, evaluaciones de riesgos, pruebas de sesgo y monitoreo del rendimiento.

Arquitectura de inyección dinámica de conocimiento

ISMS Copilot utiliza la inyección dinámica de conocimiento de marcos de trabajo para fundamentar las respuestas de la IA en conocimientos de cumplimiento verificados. A partir de la versión 2.5 (febrero de 2025), esto sustituye a la anterior arquitectura RAG (Generación Aumentada por Recuperación) por un enfoque más fiable y eficiente en el uso de tokens.

Cómo funciona la inyección de conocimiento de marcos

Componentes de la arquitectura:

  • Capa de detección de marcos: La coincidencia de patrones basada en expresiones regulares (regex) detecta menciones a marcos de trabajo en las consultas de los usuarios (ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701)

  • Capa de inyección de conocimiento: Carga dinámicamente solo el conocimiento del marco relevante en el contexto de la IA basándose en los marcos detectados

  • Capa de generación: Los modelos de lenguaje de gran tamaño (LLM) de proveedores de IA empresariales reciben el conocimiento del marco antes de generar respuestas

  • Mecanismo de validación: El conocimiento del marco proporcionado a la IA garantiza que las respuestas se basen en requisitos de cumplimiento reales, no en conjeturas probabilísticas

La inyección dinámica de conocimiento de marcos elimina las alucinaciones al proporcionar a la IA el conocimiento real del marco antes de que responda. La detección ocurre antes del procesamiento de la IA (no se basa en la IA), lo que garantiza una fiabilidad del 100% cuando se mencionan marcos de trabajo.

Por qué la inyección dinámica es importante para el cumplimiento:

  • Elimina alucinaciones: La IA recibe conocimiento verificado del marco antes de responder, evitando números de control y requisitos fabricados

  • Eficiencia de tokens: Solo se cargan los marcos relevantes (~1-2K tokens) en lugar de enviar todo el conocimiento (~10K tokens) en cada solicitud

  • Detección fiable: La coincidencia de patrones regex (no basada en IA) garantiza que las menciones a los marcos nunca se pasen por alto

  • Arquitectura extensible: Se añaden nuevos marcos con una única definición de objeto, sin necesidad de reentrenar el modelo

  • Soporte multi-marco: Maneja consultas que mencionan varios marcos simultáneamente (ej., \"Mapear ISO 27001 a SOC 2\")

Implementación técnica

Proceso de detección:

  1. El usuario envía una consulta (ej., \"¿Qué es el Anexo A.5.9 de ISO 27001?\")

  2. La detección de marcos escanea la consulta en busca de coincidencias de patrones (ISO 27001, GDPR, SOC 2, etc.)

  3. Los marcos que coinciden activan la inyección de conocimiento

  4. El conocimiento del marco relevante se añade al prompt del sistema de IA antes de la generación

Marcos compatibles (v2.5):

  • ISO 27001:2022 — Sistema de Gestión de Seguridad de la Información

  • ISO 42001:2023 — Sistema de Gestión de Inteligencia Artificial

  • ISO 27701:2025 — Sistema de Gestión de Información de Privacidad

  • SOC 2 — Control de Organización de Servicios (Criterios de Servicios de Confianza)

  • HIPAA — Ley de Portabilidad y Responsabilidad de Seguros de Salud

  • GDPR — Reglamento General de Protección de Datos

  • CCPA — Ley de Privacidad del Consumidor de California

  • NIS 2 — Directiva sobre Seguridad de las Redes y de los Sistemas de Información

  • DORA — Ley de Resiliencia Operativa Digital

Se añaden continuamente más marcos. Las próximas prioridades incluyen NIST 800-53, PCI DSS y normativas regionales adicionales. Consulte el Registro de cambios del producto para actualizaciones.

Evolución de RAG a inyección dinámica

Enfoque anterior (Anterior a v2.5): Arquitectura RAG

  • La búsqueda semántica recuperaba fragmentos de documentación relevantes

  • La calidad de la recuperación variaba según la redacción de la consulta

  • Se enviaban los ~10K tokens de conocimiento en muchas solicitudes

  • Enfocado principalmente en ISO 27001

Enfoque actual (v2.5+): Inyección dinámica de marcos

  • La detección basada en regex garantiza una identificación fiable del marco

  • Solo se cargan los marcos relevantes (eficiencia de tokens)

  • Soporta 9 marcos simultáneamente

  • Diseño extensible para adiciones rápidas de marcos

Si ve referencias a la \"arquitectura RAG\" en documentación antigua o fuentes externas, tenga en cuenta que ISMS Copilot realizó la transición a la inyección dinámica de conocimiento de marcos en la versión 2.5 (febrero de 2025). El nuevo enfoque es más fiable y admite muchos más marcos.

Proveedores de IA y protección de datos

Utilizamos proveedores de IA de grado empresarial con estrictos acuerdos de protección de datos.

Proveedores actuales

Modelos de IA del backend:

  • OpenAI GPT-5.2 (predeterminado) — Razonamiento avanzado y análisis de cumplimiento

  • Anthropic Claude Opus — Integración en el backend para la redacción de políticas matizadas

  • xAI Grok — Proveedor alternativo para diversos casos de uso

  • Mistral AI — Proveedor con sede en la UE para el Modo de Protección de Datos Avanzado

OpenAI GPT-5.2 es el proveedor predeterminado actual que impulsa todas las conversaciones. Se integran proveedores de IA adicionales en el backend, con una interfaz de selección de modelos prevista para 2026. Todos los modelos acceden a la misma base de conocimiento de cumplimiento especializada a través de la inyección dinámica de marcos, garantizando una orientación coherente y fiable.

Acuerdos de retención de datos cero

Todos los proveedores de IA operan bajo acuerdos de Retención de Datos Cero (ZDR):

Sus datos NUNCA se utilizan para entrenar modelos de IA. Los acuerdos ZDR garantizan que sus conversaciones, documentos cargados y el contenido del espacio de trabajo sigan siendo confidenciales y no sean retenidos por los proveedores de IA más allá del procesamiento de sus solicitudes.

Términos del acuerdo ZDR:

  • Sin retención de datos de usuario más allá del procesamiento de la solicitud

  • Sin entrenamiento de modelos con contenido del cliente

  • Transferencias de datos conformes al GDPR con Cláusulas Contractuales Tipo (SCC)

  • Estándares de seguridad empresarial aplicados

Para obtener información detallada sobre los encargados del tratamiento y los flujos de datos, consulte nuestro Registro de actividades de procesamiento.

Requisitos de desarrollo

Cada componente del sistema de IA se desarrolla según requisitos documentados que definen el comportamiento esperado, las restricciones de seguridad y los umbrales de rendimiento.

Requisitos funcionales

Definición del alcance:

  • La IA proporciona asistencia para el cumplimiento, no asesoramiento legal

  • Límites de las tareas: generación de políticas, análisis de brechas, preparación de auditorías, revisión de documentos

  • Cumplimiento de restricciones: sin acceso a Internet, sin ejecución de código, sin procesamiento de datos personales más allá del uso de la plataforma

Requisitos de rendimiento

Objetivos de calidad:

  • Exactitud en la respuesta basada en fuentes recuperadas con citas

  • Ventana de contexto suficiente para el análisis de cumplimiento de múltiples documentos

  • Tiempo de respuesta optimizado para uso interactivo (objetivo: menos de 10 segundos)

  • Límites de velocidad definidos por nivel de usuario para garantizar la estabilidad del sistema

Requisitos de seguridad

Mitigación de alucinaciones:

  • Fundamentación en fuentes: las respuestas deben hacer referencia a la documentación recuperada

  • Validación de recuperación: respuestas verificadas con el contenido de la fuente

  • Puntuación de confianza: reconocimiento de la incertidumbre cuando las fuentes son ambiguas

  • Avisos de verificación del usuario: todos los resultados requieren revisión humana

Filtrado de contenido:

  • Detección y bloqueo de contenido inapropiado

  • Límites de alcance: la IA rechaza solicitudes fuera de alcance (ej., temas no relacionados, asesoramiento médico/legal)

  • Protección contra jailbreak e inyección de prompts

Consulte el Resumen de seguridad y uso responsable de la IA para conocer las barreras de seguridad detalladas.

Requisitos de manejo de datos

Privacidad desde el diseño:

  • No se usan datos de usuario para el entrenamiento de modelos (acuerdos ZDR aplicados)

  • Minimización de datos: solo se procesan los datos necesarios para la recuperación y generación

  • Procesamiento temporal: no hay almacenamiento a largo plazo de prompts/respuestas más allá de los registros de sesión del usuario

  • Controles de retención: períodos de retención de datos configurables por el usuario (de 1 día a 7 años, o conservar para siempre)

  • Controles de transferencia: transferencias de datos conformes al GDPR con SCC

Para conocer las prácticas completas de manejo de datos, consulte nuestra Política de privacidad.

Pruebas de verificación y validación

Los sistemas de IA se someten a pruebas rigurosas antes del despliegue. Ningún sistema se pone en marcha sin pasar una validación basada en requisitos.

Pruebas de regresión

Se ejecutan pruebas automatizadas en cada cambio de código para garantizar que la funcionalidad existente permanezca intacta.

Cobertura de las pruebas:

  • Precisión de recuperación: Precisión y exhaustividad frente a conjuntos de datos de referencia (ground truth)

  • Fundamentación de la respuesta: Verificación de que los resultados citan las fuentes recuperadas

  • Detección de alucinaciones: Comparación con respuestas incorrectas conocidas

  • Puntos de referencia de rendimiento: Validación del tiempo de respuesta y manejo del contexto

Pruebas de seguridad

Los sistemas de IA se someten a la misma validación de seguridad que todos los componentes de la plataforma.

Flujo de pruebas:

  • SAST (Pruebas de seguridad de aplicaciones estáticas): Escaneo de vulnerabilidades a nivel de código con integración de Semgrep

  • DAST (Pruebas de seguridad de aplicaciones dinámicas): Validación de seguridad en tiempo de ejecución

  • Pruebas de penetración: Evaluaciones de seguridad anuales por terceros

  • Pruebas de inyección de prompts: Validación contra entradas maliciosas que intentan eludir las restricciones de seguridad

Nuestro ciclo de vida de desarrollo seguro garantiza que los sistemas de IA cumplan con los mismos estándares de seguridad que todos los demás componentes de la plataforma. Consulte nuestras Políticas de seguridad para conocer las prácticas de prueba detalladas.

Pruebas de aceptación del usuario

La validación de escenarios del mundo real con profesionales de cumplimiento garantiza que:

  • Los resultados cumplan con los estándares de calidad profesional

  • Las respuestas sean apropiadas para los casos de uso de cumplimiento

  • Las limitaciones se comuniquen claramente

  • Los mecanismos de retroalimentación sean accesibles y efectivos

Lista de verificación de validación de despliegue

Los sistemas de IA se despliegan solo después de cumplir con los requisitos documentados:

El despliegue requiere un 100% de éxito en las pruebas de regresión, escaneos de seguridad superados (sin vulnerabilidades críticas o de alta gravedad), cumplimiento de los puntos de referencia de rendimiento, documentación de usuario actualizada con limitaciones y haber configurado el monitoreo/alertas para el seguimiento de la tasa de alucinaciones.

Los despliegues que fallan la validación se revierten hasta que se satisfagan los requisitos.

Monitoreo y mejora continua

Tras el despliegue, monitoreamos el comportamiento del sistema de IA para detectar degradación, problemas emergentes o mal uso.

Métricas de monitoreo

Qué rastreamos:

  • Tasa de alucinaciones: Rastreada a través de informes de usuarios y detección automatizada

  • Precisión de la respuesta: Validación muestreada frente a estándares de cumplimiento de referencia

  • Patrones de uso: Detección de uso fuera de alcance o inapropiado

  • Métricas de rendimiento: Tiempo de respuesta, precisión de recuperación, tasas de error

  • Comentarios de los usuarios: Informes de impacto adverso, tickets de soporte, solicitudes de funciones

Ciclo de mejora continua

Los datos de monitoreo informan las mejoras iterativas:

Bucles de retroalimentación:

  • Comentarios de los usuarios e informes de impacto adverso → actualizaciones del modelo y ajuste de recuperación

  • Resultados de las pruebas de seguridad → mejoras de seguridad y actualizaciones de controles

  • Cambios regulatorios y mejores prácticas → actualizaciones de documentación y marcos de trabajo

  • Monitoreo del rendimiento → mejoras de precisión y optimización de respuestas

Respuesta a incidentes

Notificamos a los usuarios sobre incidentes relacionados con la IA para mantener la transparencia y la confianza.

Canales de notificación:

  • Alertas por correo electrónico para incidentes críticos que afecten la funcionalidad de la IA

  • Notificaciones de Slack para equipos suscritos

  • Actualizaciones en la página de estado con cronogramas y resoluciones de incidentes

  • Notificaciones de alerta temprana conformes a NIS2 (notificación en 24 horas para incidentes significativos de ciberseguridad)

Suscríbase a nuestra página de estado para recibir notificaciones en tiempo real sobre incidentes, mantenimiento y actualizaciones del sistema de IA.

Limitaciones conocidas

Los sistemas de IA tienen limitaciones inherentes que los usuarios deben comprender para usarlos de manera responsable.

Limitaciones técnicas

Los resultados de la IA pueden contener imprecisiones (alucinaciones) incluso con la fundamentación RAG. Los usuarios deben verificar todos los resultados con los estándares y regulaciones oficiales.

Restricciones actuales:

  • Naturaleza probabilística: La IA genera respuestas basadas en patrones estadísticos, no en una lógica determinante

  • Sin acceso a Internet: La IA no puede recuperar información en tiempo real ni acceder a sitios web externos

  • Sin ejecución de código: La IA no puede realizar cálculos, ejecutar scripts ni validar implementaciones técnicas

  • Corte de conocimiento: El conocimiento del modelo de IA está limitado a las fechas de corte de los datos de entrenamiento (varía según el proveedor)

  • Límites de contexto: La ventana de contexto máxima limita la cantidad de información procesada en una sola solicitud

  • Límites de dominio: La IA está entrenada para cumplimiento/seguridad; el rendimiento en otros ámbitos no está garantizado

Para obtener limitaciones detalladas y soluciones alternativas, consulte nuestra página de Problemas conocidos.

Responsabilidad de verificación del usuario

ISMS Copilot está diseñado para asistir, no para reemplazar, el juicio profesional:

  • Cotejar las sugerencias de la IA con los estándares oficiales

  • Validar la información crítica antes de enviarla a los auditores

  • Utilizar la IA como asistente de un consultor, no como sustituto de la experiencia

  • Ejercer el juicio profesional al aplicar las recomendaciones de la IA

Consulte Cómo usar ISMS Copilot de forma responsable para conocer las mejores prácticas de verificación.

Informes y comentarios

Los comentarios de los usuarios son fundamentales para la mejora del sistema de IA. Proporcionamos múltiples mecanismos para informar sobre problemas, imprecisiones o comportamientos inesperados.

Cómo informar problemas

Impactos adversos o alucinaciones:

  1. Vaya al menú de usuario (arriba a la derecha) > Centro de ayuda > Contactar con soporte

  2. Incluya el prompt, la respuesta y capturas de pantalla en su informe

  3. Espere una respuesta en un plazo de 48 horas

Informes dentro de la plataforma:

  • Utilice el botón \"Informar de un problema\" disponible en toda la plataforma para marcar respuestas específicas de la IA

Qué ocurre después de informar

  1. Revisión inmediata (en 24 horas): El equipo de soporte evalúa la gravedad y el impacto

  2. Investigación: El equipo técnico analiza el problema, lo reproduce e identifica la causa raíz

  3. Respuesta: Recibirá una actualización sobre los hallazgos y las acciones previstas

  4. Remediación: Los problemas se abordan mediante actualizaciones del modelo, ajustes de recuperación, correcciones de código o mejoras en la documentación

  5. Mejora continua: Las lecciones aprendidas se integran en los procesos de prueba y monitoreo

Los problemas de alta gravedad (riesgos de seguridad, fugas de datos, alucinaciones críticas) se escalan de inmediato para su reparación urgente.

Consulte el Resumen de seguridad y uso responsable de la IA para obtener instrucciones detalladas sobre cómo informar.

Actualizaciones de documentación

Las especificaciones técnicas se alojan cuando:

  • Los proveedores de IA cambian (nuevos modelos, API obsoletas)

  • La arquitectura evoluciona (nuevos componentes, métodos de validación)

  • Se revisan los requisitos (nuevas restricciones de seguridad, objetivos de rendimiento)

  • Las prácticas de prueba se amplían (nuevas técnicas de validación, herramientas de seguridad)

Las actualizaciones se comunican a través de las notas de la versión y esta página de documentación. Suscríbase a nuestra página de estado para recibir notificaciones de cambios.

Siguientes pasos

Obtener ayuda

Para preguntas técnicas sobre las especificaciones del sistema de IA o para solicitar documentación adicional:

  • Contacte con soporte a través del menú del Centro de ayuda

  • Informe de preocupaciones de seguridad inmediatamente para su investigación

  • Consulte el Centro de confianza para obtener información detallada sobre la gobernanza de la IA

  • Consulte la Página de estado para conocer los problemas conocidos

¿Te fue útil?