Era una tranquila tarde de viernes de julio cuando un problema aparentemente aislado llamó la atención de Phillip Misner, jefe del equipo de Detección y Respuesta a Incidentes de IA de Microsoft.
Alguien había robado el código de acceso único de un cliente para un generador de imágenes de IA y estaba burlando las medidas de seguridad para crear imágenes sexualizadas de famosos.
Misner y sus compañeros revocaron el código, pero pronto vieron aparecer más credenciales de cliente robadas, o claves API, en un foro anónimo conocido por difundir contenido de odio. Escalaron el problema hasta convertirlo en una respuesta de seguridad a nivel de toda la empresa, en lo que se ha convertido en el primer caso legal de Microsoft para impedir que se cree contenido dañino de IA.
“Nos tomamos muy en serio el uso indebido de la IA y reconocemos el daño que las imágenes abusivas causan a las víctimas”, afirma Misner.
Documentos judiciales detallan cómo Microsoft está desmantelando una red global presuntamente responsable de la creación de miles de imágenes abusivas de IA de celebridades, mujeres y personas de color. Muchas de las imágenes eran sexualmente explícitas, misóginas, violentas o de odio.
La compañía afirma que la red, denominada Storm-2139, incluye a seis personas que desarrollaron herramientas para acceder a Azure OpenAI Service y a las plataformas de IA de otras compañías mediante un plan de piratería informática como servicio. Cuatro de estas personas, ubicadas en Irán, Inglaterra, Hong Kong y Vietnam, figuran como demandadas en la demanda civil de Microsoft presentada ante el Tribunal de Distrito de EE. UU. para el Distrito Este de Virginia. La demanda alega que otras 10 personas utilizaron las herramientas para eludir las medidas de seguridad de la IA y crear imágenes que infringían las condiciones de uso de Microsoft.
“Este caso deja claro que no toleramos el abuso de nuestra tecnología de IA”, afirma Richard Boscovich, asesor general adjunto de la Unidad de Delitos Digitales (UCD) de la compañía. “Estamos desmantelando su operación y advirtiendo que, si alguien abusa de nuestras herramientas, lo perseguiremos”.
Manteniendo a las personas seguras en línea
La demanda forma parte de la larga trayectoria de la compañía en el fomento de la seguridad digital , desde la respuesta a ciberamenazas y la desmantelación de delincuentes hasta el desarrollo de sistemas de IA seguros . Los esfuerzos incluyen la colaboración con legisladores, defensores y víctimas para proteger a las personas de imágenes explícitas compartidas sin su consentimiento, independientemente de si son reales o creadas o modificadas con IA.
“Este tipo de abuso de imágenes afecta desproporcionadamente a mujeres y niñas, y la era de la IA ha cambiado radicalmente la escala en la que puede ocurrir”, afirma Courtney Gregoire, vicepresidenta y directora de seguridad digital de Microsoft. “Un elemento fundamental de nuestro enfoque en seguridad digital es escuchar a quienes se han visto afectados negativamente por la tecnología y adoptar un enfoque multidimensional para mitigar el daño”.
Poco después de que la DCU presentara su denuncia inicial en diciembre, incautó un sitio web, bloqueó la actividad y continuó desarrollando su caso. La demanda incitó a los miembros de la red a denunciarse entre sí, compartir los correos electrónicos de los abogados del caso y enviar denuncias anónimas para culpar a otros usuarios. Esto ayudó a los investigadores a nombrar a los acusados en el tribunal como una estrategia pública para disuadir a otros abusadores de IA. Una denuncia enmendada en febrero generó más conversaciones en la red y evidencia para la investigación en curso del equipo.
“La presión sobre este grupo aumentó y empezaron a revelar información unos sobre otros”, afirma Maurice Mason, investigador principal de la DCU.
Nos tomamos muy en serio el mal uso de la IA y reconocemos el daño que las imágenes abusivas causan a las víctimas.
Phillip Misner, director de detección y respuesta a incidentes de inteligencia artificial de Microsoft
Miles de avisos maliciosos de IA
Los investigadores afirman que los acusados desarrollaron y promocionaron un paquete de software para acceder ilícitamente a modelos generadores de imágenes y a un servicio de proxy inverso que ocultaba la actividad y guardaba las imágenes en una computadora en Virginia. Las credenciales robadas, utilizadas para autenticar el acceso, pertenecían a clientes de Azure que las habían dejado expuestas en una plataforma pública.
Los usuarios de las herramientas se esforzaron al máximo para eludir los filtros de seguridad de contenido de Microsoft. Repetiron mensajes bloqueados, compartieron técnicas de evasión e introdujeron miles de mensajes maliciosos diseñados para manipular los modelos de IA para que ignoraran las medidas de seguridad y así obtener lo que querían, según los investigadores.
Cuando los filtros de contenido rechazaron las solicitudes de imágenes de famosos (una medida de protección contra los deepfakes), los usuarios las sustituyeron en algunos casos por descripciones físicas de famosos. Cuando los filtros bloquearon las solicitudes de contenido dañino, los usuarios reemplazaron letras y palabras con anotaciones técnicas, como subíndices, para engañar al modelo de IA. Microsoft ha abordado estos métodos de evasión y ha mejorado sus medidas de seguridad de IA en respuesta al incidente.
“Una de las conclusiones que obtuvimos al analizar los mensajes y las imágenes es que está muy claro que su intención era eludir las restricciones y producir imágenes que estaban prohibidas”, dice Michael McDonald, analista de datos sénior de DCU.
Interrumpir y disuadir el abuso
La empresa también ayudó a los clientes afectados a mejorar su seguridad, como parte de una inversión continua en medidas de protección y seguridad contra los riesgos cambiantes de la IA y el contenido dañino. Una medida de protección, los metadatos de procedencia denominados Credenciales de Contenido, ayudó a los investigadores a establecer el origen de muchas de las imágenes descubiertas. Microsoft adjunta los metadatos a las imágenes creadas con su IA para brindar transparencia informativa y combatir los deepfakes . La empresa también es líder desde hace tiempo en el grupo del sector que creó las Credenciales de Contenido.
“El uso indebido de la IA tiene consecuencias reales y duraderas”, afirma Sarah Bird, directora de producto de IA Responsable en Microsoft. “Innovamos continuamente para construir sólidas barreras de seguridad e implementar medidas de seguridad que garanticen la seguridad y la fiabilidad de nuestras tecnologías de IA”.
Microsoft alega que los acusados violaron la Ley de Abuso y Fraude Informático, la Ley de Derechos de Autor del Milenio Digital y otras leyes estadounidenses. Los investigadores están remitiendo a otras personas en EE. UU. y otros países a las fuerzas del orden para que presenten cargos penales. El equipo ha compartido información sobre las imágenes y el caso legal con víctimas conocidas.
«Seguiremos monitoreando esta red e identificando a más acusados según sea necesario para detener el abuso», afirma Boscovich.
Un elemento central de nuestro enfoque en seguridad digital es escuchar a aquellos que se han visto afectados negativamente por la tecnología.
Courtney Gregoire, vicepresidenta y directora de seguridad digital de Microsoft
Creando un ecosistema en línea más seguro
Para Microsoft, la lucha contra el abuso sexual basado en imágenes comenzó mucho antes del surgimiento de la IA generativa, cuando empezó a eliminar imágenes íntimas no consensuadas de sus plataformas y resultados de búsqueda de Bing en 2015. Desde entonces, ha publicado un informe de 42 páginas para ayudar a los responsables de las políticas a proteger a las personas del contenido abusivo generado por IA y donó su tecnología PhotoDNA para ayudar a las víctimas a eliminar imágenes en línea manteniendo su privacidad.
La plataforma GitHub de la empresa también prohíbe proyectos que estén diseñados para o fomenten la creación de imágenes explícitas no consensuadas y toma medidas cuando el contenido viola sus políticas.
Estas imágenes, reales o sintéticas, son devastadoras para las víctimas, independientemente de que sean adolescentes o mujeres prominentes, dice Gregoire.
“Afecta su salud, bienestar, vida social y oportunidades económicas”, afirma. “Muchas veces, sus vidas se consumen intentando recuperar su identidad y sacar una imagen de circulación”.
Gregoire afirma que el problema requiere un cambio social sistémico, que incluya nuevas medidas de seguridad técnicas, leyes y políticas más protectoras, y ayudar a los jóvenes a comprender el daño del acoso sexual. Afirma que Microsoft se compromete a colaborar con sus socios para crear un ecosistema en línea más seguro para todos.
“En definitiva, recordamos al ser humano como eje central de la tecnología”, afirma. “Adoptamos un enfoque que prioriza al ser humano para mitigar los daños y garantizar que podamos usar la IA para el bien común”.
Contacto