Seguridad de IA

Descripción técnica del sistema de IA

Resumen general

Este artículo proporciona transparencia técnica sobre cómo se construyen, prueban y operan los sistemas de IA de ISMS Copilot. Estos detalles demuestran nuestro compromiso con el desarrollo de una IA responsable a través de prácticas de implementación verificables.

A quién va dirigido

Este artículo es para:

  • Equipos de seguridad y cumplimiento que evalúan los controles de gobernanza de la IA

  • Auditores que evalúan la implementación del sistema de IA frente a las políticas

  • Gestores de riesgos que requieren transparencia técnica para los sistemas de IA

  • Usuarios técnicos que desean comprender la arquitectura de la IA

Arquitectura de Conocimiento de Marcos Dinámicos

ISMS Copilot utiliza la inyección dinámica de conocimiento de marcos para fundamentar las respuestas de la IA en conocimientos de cumplimiento verificado. A partir de la versión 2.5 (febrero de 2025), esto sustituye a la anterior arquitectura RAG (generación aumentada por recuperación) por un enfoque más fiable y eficiente en el uso de tokens.

Cómo funciona la inyección de conocimiento de marcos

Componentes de la arquitectura:

  • Capa de detección de marcos: La coincidencia de patrones basada en Regex detecta menciones a marcos en las consultas de los usuarios (ISO 27001, SOC 2, GDPR, HIPAA, CCPA, NIS 2, DORA, ISO 42001, ISO 27701)

  • Capa de inyección de conocimiento: Carga dinámicamente solo el conocimiento del marco relevante en el contexto de la IA basándose en los marcos detectados

  • Capa de generación: Los modelos de lenguaje extensos (LLM) de los proveedores de IA empresariales reciben el conocimiento del marco antes de generar las respuestas

  • Mecanismo de validación: El conocimiento del marco proporcionado a la IA garantiza que las respuestas se fundamenten en requisitos de cumplimiento reales, no en conjeturas probabilísticas

La inyección dinámica de conocimiento de marcos elimina las alucinaciones al proporcionar a la IA el conocimiento real del marco antes de que responda. La detección ocurre antes del procesamiento de la IA (no se basa en IA), lo que garantiza una fiabilidad del 100% cuando se mencionan marcos.

Por qué la inyección dinámica es importante para el cumplimiento:

  • Elimina las alucinaciones: La IA recibe conocimiento verificado del marco antes de responder, evitando números de control y requisitos fabricados

  • Eficiencia de tokens: Solo se cargan los marcos relevantes (~1-2K tokens) en lugar de enviar todo el conocimiento (~10K tokens) en cada solicitud

  • Detección fiable: La coincidencia de patrones Regex (no basada en IA) garantiza que nunca se pasen por alto las menciones a los marcos

  • Arquitectura extensible: Se añaden nuevos marcos con una única definición de objeto, sin necesidad de reentrenamiento del modelo

  • Soporte multimarco: Gestiona consultas que mencionan varios marcos simultáneamente (p. ej., "Mapear ISO 27001 a SOC 2")

Implementación Técnica

Proceso de detección:

  1. El usuario envía una consulta (p. ej., "¿Qué es el Anexo A.5.9 de ISO 27001?")

  2. La detección de marcos escanea la consulta en busca de coincidencias de patrones (ISO 27001, GDPR, SOC 2, etc.)

  3. Los marcos coincidentes activan la inyección de conocimiento

  4. El conocimiento del marco relevante se añade al prompt del sistema de IA antes de la generación

Marcos compatibles (v2.5):

  • ISO 27001:2022 — Sistema de Gestión de Seguridad de la Información

  • ISO 42001:2023 — Sistema de Gestión de Inteligencia Artificial

  • ISO 27701:2025 — Sistema de Gestión de Información de Privacidad

  • SOC 2 — Control de Organización de Servicios (Criterios de Servicios de Confianza)

  • HIPAA — Ley de Portabilidad y Responsabilidad del Seguro Médico

  • GDPR — Reglamento General de Protección de Datos

  • CCPA — Ley de Privacidad del Consumidor de California

  • NIS 2 — Directiva sobre Seguridad de las Redes y de la Información

  • DORA — Ley de Resiliencia Operativa Digital

Se añaden continuamente más marcos. Las próximas prioridades incluyen NIST 800-53, PCI DSS y normativas regionales adicionales. Consulte el Registro de cambios del producto para obtener actualizaciones.

Evolución de RAG a la Inyección Dinámica

Enfoque anterior (pre-v2.5): Arquitectura RAG

  • La búsqueda semántica recuperaba fragmentos de documentación relevantes

  • La calidad de la recuperación variaba según la formulación de la consulta

  • Se enviaban los ~10K tokens de conocimiento en muchas solicitudes

  • Centrado principalmente en ISO 27001

Enfoque actual (v2.5+): Inyección dinámica de marcos

  • La detección basada en Regex garantiza una identificación fiable del marco

  • Solo se cargan los marcos relevantes (eficiente en tokens)

  • Soporta 9 marcos simultáneamente

  • Diseño extensible para adiciones rápidas de marcos

Si ve referencias a la "arquitectura RAG" en documentación antigua o fuentes externas, tenga en cuenta que ISMS Copilot hizo la transición a la inyección dinámica de conocimiento de marcos en la versión 2.5 (febrero de 2025). El nuevo enfoque es más fiable y soporta muchos más marcos.

Proveedores de IA y protección de datos

Utilizamos proveedores de IA de nivel empresarial con acuerdos estrictos de protección de datos.

Proveedores actuales

Modelos de IA de backend:

  • OpenAI GPT-5.2 (predeterminado) — Razonamiento avanzado y análisis de cumplimiento

  • Anthropic Claude Opus — Integración de backend para la redacción de políticas con matices

  • xAI Grok — Proveedor alternativo para diversos casos de uso

  • Mistral AI — Proveedor con sede en la UE para el Modo de Protección de Datos Avanzada

OpenAI GPT-5.2 es el proveedor predeterminado actual que impulsa todas las conversaciones. Se integran proveedores de IA adicionales en el backend, y el lanzamiento de la interfaz de usuario para la selección de modelos está previsto para 2026. Todos los modelos acceden a la misma base de conocimientos de cumplimiento especializada a través de la inyección dinámica de marcos, lo que garantiza una orientación consistente y fiable.

Acuerdos de retención de datos cero

Todos los proveedores de IA operan bajo acuerdos de retención de datos cero (ZDR):

Sus datos NUNCA se utilizan para entrenar modelos de IA. Los acuerdos ZDR garantizan que sus conversaciones, documentos cargados y el contenido del espacio de trabajo permanezcan confidenciales y no sean retenidos por los proveedores de IA más allá del procesamiento de sus solicitudes.

Términos del acuerdo ZDR:

  • Sin retención de datos de usuario más allá del procesamiento de la solicitud

  • Sin entrenamiento de modelos con contenido del cliente

  • Transferencias de datos conformes con el GDPR con Cláusulas Contractuales Tipo (SCC)

  • Cumplimiento de los estándares de seguridad empresarial

Para obtener información detallada sobre los encargados del tratamiento y los flujos de datos, consulte nuestro Registro de actividades de tratamiento.

Requisitos de desarrollo

Cada componente del sistema de IA se desarrolla conforme a requisitos documentados que definen el comportamiento esperado, las restricciones de seguridad y los umbrales de rendimiento.

Requisitos funcionales

Definición del alcance:

  • La IA proporciona asistencia para el cumplimiento, no asesoramiento legal

  • Límites de las tareas: generación de políticas, análisis de brechas, preparación de auditorías, revisión de documentos

  • Cumplimiento de restricciones: sin acceso a internet, sin ejecución de código, sin procesamiento de datos personales más allá del uso de la plataforma

Requisitos de rendimiento

Objetivos de calidad:

  • Precisión de las respuestas fundamentada en fuentes recuperadas con citación

  • Ventana de contexto suficiente para el análisis de cumplimiento de múltiples documentos

  • Tiempo de respuesta optimizado para uso interactivo (objetivo: menos de 10 segundos)

  • Límites de velocidad definidos por nivel de usuario para garantizar la estabilidad del sistema

Requisitos de seguridad

Mitigación de alucinaciones:

  • Fundamentación en fuentes: las respuestas deben hacer referencia a la documentación recuperada

  • Validación de recuperación: respuestas verificadas contra el contenido original

  • Puntaje de confianza: se reconoce la incertidumbre cuando las fuentes son ambiguas

  • Descargos de responsabilidad de verificación del usuario: todos los resultados requieren revisión humana

Filtrado de contenido:

  • Detección y bloqueo de contenido inapropiado

  • Límites de alcance: la IA rechaza solicitudes fuera de alcance (p. ej., temas no relacionados, asesoramiento médico/legal)

  • Protección contra jailbreak e inyección de prompts

Consulte el Resumen de seguridad de la IA y uso responsable para conocer las barreras de seguridad detalladas.

Requisitos de manejo de datos

Privacidad desde el diseño:

  • Sin uso de datos de usuario para el entrenamiento de modelos (se aplican acuerdos ZDR)

  • Minimización de datos: solo se procesan los datos necesarios para la recuperación y generación

  • Procesamiento temporal: sin almacenamiento a largo plazo de prompts/respuestas más allá de los registros de sesión del usuario

  • Controles de retención: períodos de retención de datos configurables por el usuario (desde 1 día hasta 7 años, o conservar para siempre)

  • Controles de transferencia: transferencias de datos conformes con el GDPR mediante SCC

Para conocer las prácticas integrales de manejo de datos, consulte nuestra Política de privacidad.

Pruebas de verificación y validación

Los sistemas de IA se someten a pruebas rigurosas antes de su despliegue. Ningún sistema entra en producción sin pasar la validación basada en requisitos.

Pruebas de regresión

Pruebas automatizadas ejecutadas en cada cambio de código para garantizar que la funcionalidad existente permanezca intacta.

Cobertura de pruebas:

  • Precisión de la recuperación: Precisión y exhaustividad frente a conjuntos de datos de referencia (ground truth)

  • Fundamentación de respuestas: Verificación de que los resultados citen las fuentes recuperadas

  • Detección de alucinaciones: Comparación con respuestas incorrectas conocidas

  • Benchmarks de rendimiento: Validación del tiempo de respuesta y manejo del contexto

Pruebas de seguridad

Los sistemas de IA se someten a la misma validación de seguridad que todos los componentes de la plataforma.

Canal de pruebas:

  • SAST (Pruebas de seguridad de aplicaciones estáticas): Escaneo de vulnerabilidades a nivel de código con integración de Semgrep

  • DAST (Pruebas de seguridad de aplicaciones dinámicas): Validación de seguridad en tiempo de ejecución

  • Pruebas de penetración: Evaluaciones de seguridad anuales realizadas por terceros

  • Pruebas de inyección de prompts: Validación contra entradas adversarias que intentan eludir las restricciones de seguridad

Nuestro ciclo de vida de desarrollo seguro garantiza que los sistemas de IA cumplan con los mismos estándares de seguridad que el resto de componentes. Consulte nuestras Políticas de seguridad para conocer las prácticas de prueba detalladas.

Pruebas de aceptación del usuario

La validación de escenarios del mundo real con profesionales de cumplimiento garantiza que:

  • Los resultados cumplan con los estándares de calidad profesional

  • Las respuestas sean adecuadas para casos de uso de cumplimiento

  • Las limitaciones se comuniquen claramente

  • Los mecanismos de retroalimentación sean accesibles y efectivos

Lista de verificación de validación de despliegue

Los sistemas de IA se despliegan solo después de cumplir con los requisitos documentados:

El despliegue requiere un éxito del 100% en las pruebas de regresión, escaneos de seguridad limpios (sin vulnerabilidades críticas o de alta gravedad), benchmarks de rendimiento cumplidos, documentación de usuario actualizada con limitaciones y monitorización/alertas configuradas para el seguimiento de la tasa de alucinaciones.

Los despliegues que fallan la validación se revierten hasta que se satisfagan los requisitos.

Monitorización y mejora continua

Tras el despliegue, monitorizamos el comportamiento del sistema de IA para detectar degradación, problemas emergentes o uso indebido.

Métricas de monitorización

Qué rastreamos:

  • Tasa de alucinaciones: Rastreada a través de informes de usuarios y detección automatizada

  • Precisión de la respuesta: Validación muestreada frente a estándares de cumplimiento de referencia

  • Patrones de uso: Detección de uso fuera de alcance o inapropiado

  • Métricas de rendimiento: Tiempo de respuesta, precisión de recuperación, tasas de error

  • Comentarios de los usuarios: Informes de impacto adverso, tickets de soporte, solicitudes de funciones

Ciclo de mejora continua

Los datos de monitorización informan las mejoras iterativas:

Bucles de retroalimentación:

  • Comentarios de usuarios e informes de impacto adverso → actualizaciones de modelos y ajuste de recuperación

  • Resultados de pruebas de seguridad → mejoras de seguridad y actualizaciones de controles

  • Cambios regulatorios y mejores prácticas → actualizaciones de documentación y marcos

  • Monitorización del rendimiento → mejoras de precisión y optimización de respuestas

Respuesta ante incidentes

Notificamos a los usuarios sobre incidentes relacionados con la IA para mantener la transparencia y la confianza.

Canales de notificación:

  • Alertas por correo electrónico para incidentes críticos que afecten la funcionalidad de la IA

  • Notificaciones de Slack para equipos suscritos

  • Actualizaciones en la página de estado con cronogramas de incidentes y resoluciones

  • Notificaciones de alerta temprana conformes con NIS2 (informe en 24 horas para incidentes de ciberseguridad significativos)

Suscríbase a nuestra página de estado para recibir notificaciones en tiempo real sobre incidentes del sistema de IA, mantenimiento y actualizaciones.

Limitaciones conocidas

Los sistemas de IA tienen limitaciones inherentes que los usuarios deben comprender para utilizarlos de manera responsable.

Limitaciones técnicas

Los resultados de la IA pueden contener imprecisiones (alucinaciones) incluso con la fundamentación RAG. Los usuarios deben verificar todos los resultados con los estándares y normativas oficiales.

Restricciones actuales:

  • Naturaleza probabilística: La IA genera respuestas basadas en patrones estadísticos, no en lógica determinista

  • Sin acceso a internet: La IA no puede recuperar información en tiempo real ni acceder a sitios web externos

  • Sin ejecución de código: La IA no puede realizar cálculos, ejecutar scripts ni validar implementaciones técnicas

  • Fecha de corte de conocimientos: El conocimiento del modelo de IA está limitado a las fechas de corte de los datos de entrenamiento (varía según el proveedor)

  • Límites de contexto: La ventana de contexto máxima limita la cantidad de información procesada en una sola solicitud

  • Límites de dominio: La IA está entrenada para cumplimiento/seguridad; el rendimiento en otros dominios no está garantizado

Para obtener limitaciones detalladas y soluciones alternativas, consulte nuestra página de Problemas conocidos.

Responsabilidad de verificación del usuario

ISMS Copilot está diseñado para ayudar, no para reemplazar, el juicio profesional:

  • Cotejar las sugerencias de la IA con los estándares oficiales

  • Validar la información crítica antes de enviarla a los auditores

  • Utilizar la IA como asistente de un consultor, no como sustituto de la experiencia

  • Ejercer el juicio profesional al aplicar las recomendaciones de la IA

Consulte Cómo usar ISMS Copilot de manera responsable para conocer las mejores prácticas de verificación.

Informes y retroalimentación

Los comentarios de los usuarios son fundamentales para la mejora del sistema de IA. Proporcionamos múltiples mecanismos para informar sobre problemas, imprecisiones o comportamientos inesperados.

Cómo informar de problemas

Impactos adversos o alucinaciones:

  1. Vaya al menú de usuario (arriba a la derecha) > Centro de ayuda > Contactar con soporte

  2. Incluya el prompt, la respuesta y capturas de pantalla en su informe

  3. Espere una respuesta en un plazo de 48 horas

Informes dentro de la plataforma:

  • Utilice el botón "Informar de un problema" disponible en toda la plataforma para marcar respuestas específicas de la IA

Qué sucede después de informar

  1. Revisión inmediata (en 24-48 horas): El equipo de soporte evalúa la gravedad y el impacto

  2. Investigación: El equipo técnico analiza el problema, lo reproduce e identifica la causa raíz

  3. Respuesta: Recibirá una actualización sobre los hallazgos y las acciones previstas

  4. Remediación: Los problemas se abordan mediante actualizaciones del modelo, ajustes de recuperación, correcciones de código o mejoras en la documentación

  5. Mejora continua: Las lecciones aprendidas se integran en los procesos de prueba y monitorización

Los problemas de alta gravedad (riesgos de seguridad, fugas de datos, alucinaciones críticas) se escalan de inmediato para una remediación urgente.

Consulte el Resumen de seguridad de la IA y uso responsable para obtener instrucciones detalladas sobre cómo informar.

Actualizaciones de la documentación

Las especificaciones técnicas se mantienen actualizadas cuando:

  • Cambian los proveedores de IA (nuevos modelos, APIs obsoletas)

  • La arquitectura evoluciona (nuevos componentes, métodos de validación)

  • Se revisan los requisitos (nuevas restricciones de seguridad, objetivos de rendimiento)

  • Se amplían las prácticas de prueba (nuevas técnicas de validación, herramientas de seguridad)

Las actualizaciones se comunican a través de las notas de lanzamiento y esta página de documentación. Suscríbase a nuestra página de estado para recibir notificaciones de cambios.

Siguientes pasos

Obtener ayuda

Para preguntas técnicas sobre las especificaciones del sistema de IA o para solicitar documentación adicional:

  • Contacte con soporte a través del menú del Centro de ayuda

  • Informe inmediatamente sobre preocupaciones de seguridad para su investigación

  • Revise el Centro de confianza para obtener información detallada sobre la gobernanza de la IA

  • Consulte la Página de estado para ver los problemas conocidos

¿Te fue útil?