Cómo Microsoft es tomando abajo AI piratas informáticos OMS crear dañino imágenes de celebridades y otros
Era una tranquila tarde de viernes de julio cuando un problema aparentemente aislado llamó la atención de Phillip Misner, jefe del equipo de Detección y Respuesta a Incidentes de IA de Microsoft. Alguien había robado el código de acceso único de un cliente para un generador de imágenes de IA y estaba burlando las medidas de seguridad para crear imágenes sexualizadas de famosos. Misner y sus compañeros revocaron el código, pero pronto vieron aparecer más credenciales de cliente robadas, o claves API, en un foro anónimo conocido por difundir contenido de odio. Escalaron el problema hasta convertirlo en una respuesta de seguridad a nivel de toda la empresa, en lo que se ha convertido en el primer caso legal de Microsoft para impedir que se cree contenido dañino de IA. “Nos tomamos muy en serio el uso indebido de la IA y reconocemos el daño que las imágenes abusivas causan a las víctimas”, afirma Misner. Documentos judiciales detallan cómo Microsoft está desmantelando una red global presuntamente responsable de la creación de miles de imágenes abusivas de IA de celebridades, mujeres y personas de color. Muchas de las imágenes eran sexualmente explícitas, misóginas, violentas o de odio. La compañía afirma que la red, denominada Storm-2139, incluye a seis personas que desarrollaron herramientas para acceder a Azure OpenAI Service y a las plataformas de IA de otras compañías mediante un plan de piratería informática como servicio. Cuatro de estas personas, ubicadas en Irán, Inglaterra, Hong Kong y Vietnam, figuran como demandadas en la demanda civil de Microsoft presentada ante el Tribunal de Distrito de EE. UU. para el Distrito Este de Virginia. La demanda alega que otras 10 personas utilizaron las herramientas para eludir las medidas de seguridad de la IA y crear imágenes que infringían las condiciones de uso de Microsoft. “Este caso deja claro que no toleramos el abuso de nuestra tecnología de IA”, afirma Richard Boscovich, asesor general adjunto de la Unidad de Delitos Digitales (UCD) de la compañía. “Estamos desmantelando su operación y advirtiendo que, si alguien abusa de nuestras herramientas, lo perseguiremos”. Manteniendo a las personas seguras en línea La demanda forma parte de la larga trayectoria de la compañía en el fomento de la seguridad digital , desde la respuesta a ciberamenazas y la desmantelación de delincuentes hasta el desarrollo de sistemas de IA seguros . Los esfuerzos incluyen la colaboración con legisladores, defensores y víctimas para proteger a las personas de imágenes explícitas compartidas sin su consentimiento, independientemente de si son reales o creadas o modificadas con IA. “Este tipo de abuso de imágenes afecta desproporcionadamente a mujeres y niñas, y la era de la IA ha cambiado radicalmente la escala en la que puede ocurrir”, afirma Courtney Gregoire, vicepresidenta y directora de seguridad digital de Microsoft. “Un elemento fundamental de nuestro enfoque en seguridad digital es escuchar a quienes se han visto afectados negativamente por la tecnología y adoptar un enfoque multidimensional para mitigar el daño”. Poco después de que la DCU presentara su denuncia inicial en diciembre, incautó un sitio web, bloqueó la actividad y continuó desarrollando su caso. La demanda incitó a los miembros de la red a denunciarse entre sí, compartir los correos electrónicos de los abogados del caso y enviar denuncias anónimas para culpar a otros usuarios. Esto ayudó a los investigadores a nombrar a los acusados en el tribunal como una estrategia pública para disuadir a otros abusadores de IA. Una denuncia enmendada en febrero generó más conversaciones en la red y evidencia para la investigación en curso del equipo. “La presión sobre este grupo aumentó y empezaron a revelar información unos sobre otros”, afirma Maurice Mason, investigador principal de la DCU. Nos tomamos muy en serio el mal uso de la IA y reconocemos el daño que las imágenes abusivas causan a las víctimas. Phillip Misner, director de detección y respuesta a incidentes de inteligencia artificial de Microsoft Miles de avisos maliciosos de IA Los investigadores afirman que los acusados desarrollaron y promocionaron un paquete de software para acceder ilícitamente a modelos generadores de imágenes y a un servicio de proxy inverso que ocultaba la actividad y guardaba las imágenes en una computadora en Virginia. Las credenciales robadas, utilizadas para autenticar el acceso, pertenecían a clientes de Azure que las habían dejado expuestas en una plataforma pública. Los usuarios de las herramientas se esforzaron al máximo para eludir los filtros de seguridad de contenido de Microsoft. Repetiron mensajes bloqueados, compartieron técnicas de evasión e introdujeron miles de mensajes maliciosos diseñados para manipular los modelos de IA para que ignoraran las medidas de seguridad y así obtener lo que querían, según los investigadores. Cuando los filtros de contenido rechazaron las solicitudes de imágenes de famosos (una medida de protección contra los deepfakes), los usuarios las sustituyeron en algunos casos por descripciones físicas de famosos. Cuando los filtros bloquearon las solicitudes de contenido dañino, los usuarios reemplazaron letras y palabras con anotaciones técnicas, como subíndices, para engañar al modelo de IA. Microsoft ha abordado estos métodos de evasión y ha mejorado sus medidas de seguridad de IA en respuesta al incidente. “Una de las conclusiones que obtuvimos al analizar los mensajes y las imágenes es que está muy claro que su intención era eludir las restricciones y producir imágenes que estaban prohibidas”, dice Michael McDonald, analista de datos sénior de DCU. Interrumpir y disuadir el abuso La empresa también ayudó a los clientes afectados a mejorar su seguridad, como parte de una inversión continua en medidas de protección y seguridad contra los riesgos cambiantes de la IA y el contenido dañino. Una medida de protección, los metadatos de procedencia denominados Credenciales de Contenido, ayudó a los investigadores a establecer el origen de muchas de las imágenes descubiertas. Microsoft adjunta los metadatos a las imágenes creadas con su IA para brindar transparencia informativa y combatir los deepfakes . La empresa también es líder desde hace tiempo en el grupo del sector que creó las Credenciales de Contenido. “El uso indebido de la IA tiene consecuencias reales y duraderas”, afirma Sarah Bird, directora de








