El Centro Criptológico Nacional (CCN) ha presentado la guía CCN-STIC-2011, bajo el título Metodología de Evaluación de Seguridad de Productos – Inteligencia Artificial (ESP-IA). Y lo ha hecho acompañada de dos anexos: la plantilla de Declaración de Seguridad y la plantilla del Informe Técnico de Evaluación.
Con esta publicación, el objetivo del CCN es actuar ante los riesgos de los productos con IA que no cubren las evaluaciones tradicionales. De esta forma, se enfatiza en vulnerabilidades relacionadas con el aprendizaje de estos sistemas, la interpretación de instrucciones, el recuerdo de información y la ejecución de acciones.
Actuación ante las amenazas en seguridad
La guía contempla amenazas como la evasión de decisiones, la inyección de instrucciones, el envenenamiento, la extracción del modelo, la fuga de información protegida, el agotamiento de recursos y el uso indebido de herramientas y acciones por parte de sistemas agénticos.
También incorpora dos principios esenciales: la supervisión humana antes de ejecutar acciones críticas o irreversibles y la trazabilidad necesaria para reconstruir posteriormente la actuación de la IA.
Proceso de evaluación de los productos
La evaluación se adapta a las características de cada producto. El fabricante describe su arquitectura y responde a un cuestionario sobre las capacidades de la IA; a partir de esta información, una matriz de aplicabilidad determina cuáles de los 27 requisitos previstos debe cumplir.
Un laboratorio acreditado y autorizado por el CCN verifica cada requisito aplicable y realiza pruebas de penetración adicionales, tomando como referencia la OWASP AI Testing Guide y las técnicas de ataque más actuales.
En definitiva, la nueva metodología impulsada por el CCN establece un marco común para que fabricantes, laboratorios y organismos usuarios puedan confiar y evaluar la seguridad de los productos de IA, reforzando la identificación de vulnerabilidades, la prevención de amenazas y la confianza en el uso de las nuevas tecnologías.
La entrada El CCN lanza ESP-IA, una nueva metodología de evaluación de seguridad de productos con IA se publicó primero en Red Seguridad.
