Ofrecemos a los investigadores en materia de seguridad acceso anticipado a nuestros próximos modelos de vanguardia.
Estamos invitando a los investigadores de seguridad a que soliciten acceso anticipado a nuestros próximos modelos de vanguardia. Este programa de acceso anticipado complementa nuestro proceso de prueba de modelos de vanguardia existente, que incluye rigurosas pruebas de seguridad internas, equipos de prueba externos como el nuestro y colaboraciones con organizaciones de prueba de terceros, así como con el Instituto de Seguridad de IA de EE. UU. y el Instituto de Seguridad de IA del Reino Unido. A medida que los modelos se vuelvan más capaces, tenemos la esperanza de que los conocimientos de la comunidad de seguridad más amplia puedan aportar nuevas perspectivas, profundizar nuestra comprensión de los riesgos emergentes, desarrollar nuevas evaluaciones y destacar áreas para avanzar en la investigación de seguridad.Red de trabajo en equipo roja
Como parte de , estamos abriendo un proceso de solicitud para que los investigadores de seguridad exploren y descubran las posibles implicaciones de seguridad y protección de los próximos modelos de frontera.12 días de OpenAI
Pruebas de seguridad en la era del razonamiento
Los modelos se están volviendo más capaces rápidamente, lo que significa que se necesitan nuevas técnicas de modelado, evaluación y prueba de amenazas. Invertimos mucho en estos esfuerzos como empresa, como el diseño de nuevas técnicas de medición bajo nuestro , y nos centramos en áreas donde los modelos de razonamiento avanzado, como nuestra serie o, pueden plantear mayores riesgos. Creemos que el mundo se beneficiará de una mayor investigación relacionada con el modelado de amenazas, el análisis de seguridad, las evaluaciones de seguridad, la obtención de capacidades y másMarco de preparación(se abre en una nueva ventana)
El acceso anticipado es flexible para los investigadores de seguridad. Puede explorar cosas como:
- Desarrollo de evaluaciones sólidas: elaborar evaluaciones para evaluar capacidades previamente identificadas o posibles nuevas capacidades con implicancias significativas para la seguridad. Animamos a los investigadores a explorar ideas que destaquen modelos de amenazas que identifiquen capacidades, comportamientos y tendencias específicas que puedan plantear riesgos concretos vinculados a las evaluaciones que presentan.
- Creación de demostraciones de capacidades de alto riesgo potenciales: desarrollar demostraciones controladas que muestren cómo las capacidades avanzadas de los modelos de razonamiento podrían causar daños significativos a las personas o a la seguridad pública si no se toman medidas de mitigación adicionales. Alentamos a los investigadores a que se centren en escenarios que no sean posibles con los modelos o herramientas ampliamente adoptados en la actualidad.
Ejemplos de evaluaciones y demostraciones de sistemas de IA de frontera:
- Evaluación de las capacidades de I+D de inteligencia artificial de vanguardia de los agentes de modelos lingüísticos frente a expertos humanos(se abre en una nueva ventana)
- Evaluaciones de razonamiento maquinador(se abre en una nueva ventana)
- AgentHarm: un parámetro para medir la nocividad de los agentes LLM(se abre en una nueva ventana)
Esperamos que estos conocimientos permitan sacar a la luz hallazgos valiosos y contribuyan a ampliar la investigación sobre seguridad en general. Esto no reemplaza nuestros procesos formales de pruebas de seguridad o de equipos rojos.
Cómo aplicar
Envíe su solicitud para nuestro período de acceso anticipado, que se inicia el 20 de diciembre de 2024, para ampliar los límites de la investigación en seguridad. Comenzaremos con las selecciones lo antes posible a partir de entonces. Las solicitudes cierran el 10 de enero de 2025. OpenAI News. Traducido al español
Contacto