La reciente aparición de potentes modelos de inteligencia artificial de código abierto como DeepSeek ha hecho que muchas empresas se apresuren a bloquear el acceso de acuerdo con sus políticas de seguridad.
Si bien los equipos de inteligencia artificial recurren cada vez más a repositorios abiertos para aprovechar modelos gratuitos y altamente capaces como DeepSeek, los equipos de seguridad enfrentan una presión cada vez mayor para evitar la descarga sin restricciones de artefactos de fuentes no confiables. La conclusión es clara: las organizaciones se preocupan profundamente por la confianza en su cadena de suministro de inteligencia artificial.
Es por eso que estamos especialmente complacidos de anunciar que, a partir de ahora, todos los usuarios existentes de Cisco Secure Endpoint y Email Threat Protection están protegidos contra artefactos maliciosos de la cadena de suministro de inteligencia artificial, ya sea descargados directamente del repositorio de código abierto Hugging Face, compartidos por correo electrónico o descargados desde una unidad compartida.
Comprender la seguridad de la cadena de suministro mediante inteligencia artificial
En Cisco, hemos observado de primera mano que, si bien las organizaciones se preocupan por diversas cuestiones de seguridad de la IA, como las inyecciones rápidas y los jailbreaks, sus instintos de seguridad reaccionan primero a los riesgos en la cadena de suministro de la IA. Los equipos de ML enfrentan un desafío crítico: los equipos de seguridad a menudo bloquean por completo el acceso a plataformas como Hugging Face, lo que impide el uso de modelos de código abierto. Esto crea una tensión difícil: el ritmo rápido de la innovación de código abierto significa que los equipos corren el riesgo de quedarse atrás si no pueden acceder a estos modelos, pero las preocupaciones de los equipos de seguridad sobre los modelos dañinos que causan problemas organizacionales generalizados son igualmente válidas.
La seguridad de la cadena de suministro de IA abarca las prácticas y medidas diseñadas para proteger a las empresas y las aplicaciones durante todo el proceso de desarrollo e implementación de la IA. Esto incluye la protección de las pilas de software, los datos de entrenamiento y los modelos de terceros contra vulnerabilidades y vectores de ataque, como fallas de software, problemas de deserialización, puertas traseras arquitectónicas y envenenamiento de datos o modelos.
“Proteger la cadena de suministro de IA es más que una necesidad técnica: es la base de la confianza en la tecnología. Las organizaciones de todo el mundo reconocen cada vez más que la seguridad de la cadena de suministro es fundamental para proteger tanto las aplicaciones de IA como los sistemas tradicionales de las vulnerabilidades heredadas en cada etapa del desarrollo y la producción. En Cisco, estamos comprometidos a liderar este cambio al equipar a nuestros clientes con protecciones avanzadas contra estas amenazas emergentes, garantizando que la innovación no se produzca a expensas de la seguridad”.Omar Santos, ingeniero destacado en seguridad y confianza de Cisco y copresidente de la Coalición para una IA segura
Los tres pilares de la seguridad de la cadena de suministro con IA
1. Seguridad del software
El componente de software de seguridad de la cadena de suministro de IA aborda varias áreas críticas:
- Vulnerabilidades de la biblioteca de software que pueden comprometer la integridad del sistema
- Repositorios que no son de confianza, incluidos repositorios configurados de forma maliciosa en plataformas como Hugging Face
- Vulnerabilidades del framework, como las que se encuentran en herramientas populares como Langchain
2. Seguridad del modelo
Los modelos presentan desafíos de seguridad únicos, entre ellos:
- Malware incrustado en los archivos del modelo
- Dependencias con vulnerabilidades conocidas (por ejemplo, zlib.decompress )
- Puertas traseras arquitectónicas (por ejemplo, en capas Lambda)
- Puertas traseras integradas en los pesos del modelo
- Modelos cuyas propiedades de comportamiento violan las políticas de la empresa o los estándares de seguridad.
3. Seguridad de los datos
El aspecto de datos de la seguridad de la cadena de suministro de IA se centra en:
- Posibles intoxicaciones durante los procesos de formación
- Responsabilidad por la procedencia de los datos y modelos en el linaje de modelos o conjuntos de datos
- Problemas de licencia y cumplimiento relacionados con los modelos o heredados de los modelos principales y los datos de entrenamiento
Desafíos intersectoriales actuales
Las organizaciones enfrentan varios desafíos urgentes para proteger su cadena de suministro de IA:
- Los equipos de seguridad no pueden confiar en procesos manuales de escaneo o verificación de modelos.
- Las vulnerabilidades del modelo pueden afectar la seguridad de las aplicaciones y comprometer la postura de seguridad de la empresa a través de la ejecución de código arbitrario o puertas traseras.
- Los procesos de seguridad actuales a menudo impiden la innovación y la velocidad del desarrollo
“Los repositorios de código abierto como Huggingface son un dilema particularmente interesante porque necesitamos acceso para validar los modelos con los que trabajamos, pero también es un repositorio no controlado de modelos potencialmente maliciosos. Es un imperativo estratégico permitir el acceso, pero también un imperativo de seguridad bloquear el uso de modelos maliciosos”.Sarah Winslow, directora de Tecnologías emergentes e IA de PSEC, Veradigm
Presentamos Secure Endpoint AI Supply Chain Protection
Nos complace anunciar que todos los clientes actuales de Cisco Secure Endpoint ahora reciben protección automática contra artefactos maliciosos de la cadena de suministro de IA provenientes de Hugging Face. No se requiere configuración adicional. La solución ofrece:
- Bloqueo automático de archivos maliciosos conocidos durante operaciones de lectura/escritura/modificación
- Protección contra múltiples vectores de amenazas, incluidas descargas directas y entregas por canales secundarios (por ejemplo, archivos ZIP a través de una unidad compartida)
- Capacidades de alerta o cuarentena configurables
Además, Cisco Email Threat Detection se ha actualizado para bloquear automáticamente los archivos adjuntos de correo electrónico que contienen artefactos maliciosos de seguridad de la cadena de suministro de IA.
Las capacidades mejoradas protegen específicamente contra cinco amenazas críticas:
- Vulnerabilidades de ejecución de código
- Vulnerabilidades en la ejecución de comandos del sistema
- Vulnerabilidades en redes y ejecución remota
- Vulnerabilidades de serialización y deserialización
- Interacción web y manipulación de la interfaz de usuario
Inteligencia artificial contra amenazas de Cisco + protección avanzada contra malware
Ahora, como parte de Cisco, la inteligencia sobre amenazas de nuestro equipo de investigación de amenazas de seguridad con inteligencia artificial informa a Malware Defense (antes conocida como Advanced Malware Protection o AMP). Malware Defense se ha beneficiado durante mucho tiempo de la investigación de amenazas de primer nivel y de los feeds de inteligencia de Cisco Talos.
Robust Intelligence (ahora una empresa de Cisco) ha estudiado e informado sobre las amenazas a la seguridad en los modelos de aprendizaje automático y los formatos de datos desde 2021, donde fuimos los primeros en establecer un equipo de investigación de amenazas a la seguridad de la IA y los servicios de inteligencia posteriores. En 2023, lanzamos AI Risk Database como una herramienta de investigación de la cadena de suministro de IA , y la mejoramos y la lanzamos como un proyecto de código abierto en GitHub en asociación con MITRE, bajo el conjunto más amplio de herramientas MITRE ATLAS .
Mirando hacia el futuro
Este es solo el comienzo de nuestro compromiso con la seguridad de la cadena de suministro de IA. Hay mucho más por venir para proteger a los desarrolladores de sistemas de IA contra los riesgos de la cadena de suministro. A medida que la IA continúa evolucionando e integrándose en los sistemas empresariales, proteger la cadena de suministro de IA se vuelve cada vez más crítico. Las organizaciones no necesitan sacrificar la seguridad por la innovación con las ofertas de seguridad de IA de Cisco. Cisco Blog. H. A. y J.M. Traducido al español
Contacto