A medida que nuestros modelos se vuelven más capaces en biología, estamos incorporando medidas de protección y asociándonos con expertos globales, lo que incluye la celebración de una cumbre de biodefensa en julio.
Los modelos avanzados de IA tienen el poder de acelerar rápidamente los descubrimientos científicos, una de las muchas maneras en que los modelos de IA de vanguardia beneficiarán a la humanidad. En biología, estos modelos ya están ayudando a los científicos .(se abre en una nueva ventana)Identificar qué nuevos fármacos tienen mayor probabilidad de éxito en ensayos clínicos en humanos. Pronto, también podrían acelerar el descubrimiento de fármacos, diseñar mejores vacunas, crear enzimas para combustibles sostenibles y descubrir nuevos tratamientos para enfermedades raras, abriendo así nuevas posibilidades en la medicina, la salud pública y las ciencias ambientales.
Al mismo tiempo, estos modelos plantean importantes consideraciones de doble uso: facilitar el avance científico y, al mismo tiempo, mantener la barrera contra la información dañina. Las mismas capacidades subyacentes que impulsan el progreso, como el razonamiento sobre datos biológicos, la predicción de reacciones químicas o la guía de experimentos de laboratorio, también podrían utilizarse indebidamente para ayudar a personas con conocimientos mínimos a recrear amenazas biológicas o a actores altamente cualificados a crear armas biológicas. El acceso físico a laboratorios y materiales sensibles sigue siendo una barrera; sin embargo, estas barreras no son absolutas.
Esperamos que los próximos modelos de IA alcancen niveles «altos» de capacidad en biología, según lo medido por nuestro Marco de Preparación .(se abre en una nueva ventana)* , y estamos adoptando un enfoque multifacético para implementar medidas de mitigación. En esta publicación, abordamos:
- Desarrollar un enfoque responsable para el avance de las capacidades biológicas
- Colaborar con expertos externos del sector, incluidas entidades gubernamentales y laboratorios nacionales.
- Modelos de capacitación para gestionar de forma segura las solicitudes de biológicos de doble uso
- Sistemas de detección, monitoreo y control de edificios
- Equipos rojos adversarios que trabajan con expertos para mitigar nuestros efectos
- Implementación de controles de seguridad
- ¿Qué nos espera?
Nuestro enfoque
Necesitamos actuar con responsabilidad en medio de esta incertidumbre. Por eso, nos centramos en impulsar la integración de la IA para casos de uso positivos, como la investigación biomédica y la biodefensa, a la vez que nos centramos en limitar el acceso a capacidades dañinas. Nuestro enfoque se centra en la prevención: no creemos que sea aceptable esperar a ver si ocurre una amenaza biológica antes de decidir sobre un nivel de protección suficiente.
El futuro requerirá una mayor colaboración entre expertos y gobiernos para fortalecer el ecosistema en su conjunto y ayudar a identificar problemas que ninguna organización podría detectar por sí sola. Hemos consultado con expertos externos en cada etapa de este trabajo. Al principio, trabajamos con destacados expertos en bioseguridad, armas biológicas y bioterrorismo, así como con investigadores académicos, para definir nuestro modelo de amenazas de bioseguridad, evaluaciones de capacidad y políticas de modelos y uso. Durante el diseño de las mitigaciones, capacitadores con maestrías y doctorados en biología ayudaron a crear y validar nuestros datos de evaluación. Y ahora, colaboramos activamente con equipos rojos expertos en el área para evaluar la eficacia de nuestras medidas de seguridad en la práctica, en escenarios de alta fidelidad.
Mientras invertimos en más investigaciones, como estudios de levantamiento en laboratorios húmedos para evaluar el éxito de los principiantes en tareas proxy inocuas, ya estamos preparando e implementando medidas de mitigación. También seguimos colaborando estrechamente con entidades gubernamentales, incluyendo el CAISI de EE. UU .(se abre en una nueva ventana)y AISI del Reino Unido(se abre en una nueva ventana)Hemos trabajado con el Laboratorio Nacional de Los Álamos para estudiar el papel de la IA en entornos de laboratorio y apoyar a investigadores externos que impulsan herramientas y evaluaciones de bioseguridad.
Nuestras evaluaciones de capacidad, incluidas las detalladas en nuestras tarjetas de sistema, se basan en la opinión de expertos y están diseñadas para estimar cuándo un modelo alcanza los umbrales altos. Reconocemos que estas evaluaciones se basan en suposiciones difíciles de comprobar sobre las vías de bioarmamentización y no pueden predecir con certeza el uso indebido en el mundo real. Sin embargo, dado lo que está en juego, queremos ser proactivos al tomar las medidas de preparación pertinentes.
Fortalecimiento de las defensas en biología
Durante los últimos dos años, hemos hecho un seguimiento de lo que nuestros modelos pueden hacer a medida que se desarrollan y hemos trabajado para reducir los riesgos antes del lanzamiento según el Marco de preparación .(se abre en una nueva ventana)Y compartimos nuestros hallazgos abiertamente mediante tarjetas del sistema para que otros puedan seguir nuestro progreso. Como parte de esto, hemos creado evaluaciones de preparación que se ejecutan durante el entrenamiento del modelo de frontera para brindar información temprana y regular sobre las capacidades de un modelo.
Estamos compartiendo cómo nos estamos preparando, tanto lo que ya está en marcha como lo que viene, al tiempo que ocultamos detalles confidenciales que podrían ayudar a los malos actores a eludir nuestras medidas de seguridad.
- Entrenamiento del modelo para rechazar o responder de forma segura a solicitudes dañinas: Históricamente, hemos entrenado modelos para rechazar solicitudes peligrosas. Seguiremos haciéndolo para solicitudes explícitamente dañinas o que permitan el uso de armas biológicas. Para solicitudes de doble uso (como experimentos de virología, inmunología, ingeniería genética, etc.), seguimos los principios descritos en nuestra Especificación del Modelo .(se abre en una nueva ventana), incluyendo evitar respuestas que proporcionen pasos prácticos. Creemos que las instrucciones detalladas paso a paso y la guía para la resolución de problemas en laboratorios húmedos pueden ser riesgosas en las manos equivocadas. Nuestro comportamiento predeterminado para el público general será intencionadamente cauteloso, entrenando modelos para que proporcionen información de alto nivel que respalde la comprensión experta, mientras que ocultamos suficientes detalles para evitar el uso indebido por parte de principiantes.
- Sistemas de detección permanentes: Hemos implementado monitores robustos en todo el sistema, en todas las superficies de los productos, con modelos de vanguardia para detectar actividad biológica peligrosa o sospechosa. Si nuestros filtros consideran que algo no es seguro, la respuesta del modelo se bloquea. Esto también activa sistemas de revisión automatizados y, cuando es necesario, se inicia una revisión humana.
- Monitoreo y control de cumplimiento: Prohibimos el uso de nuestros productos para causar daño y aplicamos nuestras políticas cuando detectamos un uso indebido. Utilizamos las mismas capacidades avanzadas de razonamiento de IA para detectar el uso indebido de sustancias biológicas, combinando nuestros sistemas automatizados con revisores humanos para supervisar y aplicar nuestras políticas. El uso indebido puede resultar en la suspensión de cuentas. Nos tomamos muy en serio el uso indebido relacionado con el riesgo biológico y podemos realizar investigaciones adicionales sobre el usuario y, en casos graves, podemos notificar a las autoridades competentes. Puede leer más sobre nuestras prácticas de moderación aquí .
- Red teaming integral: Trabajamos con varios equipos de expertos en red teaming; personas que intentan vulnerar nuestras mitigaciones de seguridad. Su trabajo consiste en intentar eludir todas nuestras defensas trabajando de principio a fin, como lo haría un adversario decidido y con recursos. Esto nos ayuda a identificar vulnerabilidades de forma temprana y a fortalecer todo el sistema. El red teaming en el ámbito de la biología conlleva sus propios desafíos. La mayoría de los expertos en red teaming carecen de experiencia en el ámbito del bioriesgo y podrían no ser capaces de evaluar la nocividad de los resultados del modelo. La mayoría de los expertos en biología carecen de experiencia en la explotación de vulnerabilidades de modelos. Colaboramos con ambos grupos para probar diferentes aspectos de nuestro sistema, desde la cobertura de riesgos hasta la robustez, y los emparejamos en equipos para lograr el red teaming más sofisticado.
- Controles de seguridad: Adoptamos un enfoque de defensa integral para proteger nuestros pesos de modelo, basándonos en una combinación de control de acceso, fortalecimiento de la infraestructura, controles de salida y monitoreo. Utilizamos detecciones y controles específicos para mitigar el riesgo de exfiltración de pesos de modelo de alto riesgo. Complementamos estas medidas con Detección y Respuesta siempre activas, Inteligencia de Amenazas dedicada y un programa de Riesgo Interno que garantiza la rápida identificación y bloqueo de amenazas emergentes.
El Comité de Seguridad de nuestra Junta Directiva ha revisado nuestro enfoque y ya hemos implementado versiones iniciales de este plan de mitigación integral en muchos modelos actuales, como o3, que se mantienen por debajo del umbral de capacidad alta de nuestro Marco de Preparación. Mediante este proceso, hemos aplicado los aprendizajes adquiridos en nuestras implementaciones para mejorar significativamente el rendimiento de nuestros sistemas técnicos y solucionar los problemas en nuestros flujos de trabajo de revisión humana. Seguiremos implementando cambios a medida que aprendamos más.
¿Qué nos espera?
Si bien estamos enfocados en proteger nuestros propios modelos, reconocemos que no todas las organizaciones tomarán las mismas precauciones y que el mundo pronto puede enfrentar el desafío más amplio de capacidades biológicas de IA ampliamente accesibles, junto con herramientas de síntesis de ciencias biológicas cada vez más disponibles.
Organizaremos una cumbre de biodefensa este julio, que reunirá a un grupo selecto de investigadores gubernamentales y ONG para explorar los riesgos del uso dual, compartir avances y explorar cómo nuestros modelos de vanguardia pueden impulsar la investigación. Nuestro objetivo es profundizar nuestras alianzas con Estados Unidos y otros gobiernos aliados, y comprender mejor cómo la IA avanzada puede respaldar la investigación de vanguardia en biodefensa, desde contramedidas hasta terapias innovadoras, y fortalecer la colaboración en todo el ecosistema.
Si bien nuestro trabajo de seguridad busca limitar el uso indebido generalizado, también estamos desarrollando políticas y protocolos a nivel de contenido para que las instituciones acreditadas accedan a modelos de máxima utilidad para que puedan impulsar las ciencias biológicas. Esto incluye colaboraciones para desarrollar diagnósticos, contramedidas y nuevos métodos de prueba.
Basándonos en nuestro trabajo de seguridad con los gobiernos, creemos que los sectores público y privado deben colaborar para fortalecer las defensas biológicas de nuestra sociedad más allá de los modelos de IA. Esto podría incluir un mayor control de la síntesis de ácidos nucleicos (basándose en la reciente Orden Ejecutiva ).(se abre en una nueva ventana)), sistemas de detección temprana más robustos para nuevos patógenos, fortalecimiento de la infraestructura contra las amenazas biológicas e inversión en innovaciones en bioseguridad para ayudar a garantizar la resiliencia a largo plazo contra las amenazas biológicas.
También creemos que los avances complementarios en la investigación sobre IA y bioseguridad brindarán cada vez más terreno fértil para que los fundadores creen nuevas startups con una misión clara que puedan aprovechar el espíritu emprendedor para ayudar a resolver estos desafíos. La seguridad no son solo aspectos de los modelos y productos de IA, sino servicios y sectores cada vez más indispensables que atraerán a los inversores. Participaremos activamente para acelerar este proceso.
Esperamos una mayor colaboración con gobiernos, investigadores y empresarios de todo el mundo, no sólo para garantizar que el ecosistema de bioseguridad esté preparado, sino para aprovechar los sorprendentes avances que aún están por venir. OpenAI News. Traducido al español
