Categoría: Startups

Un punto de referencia de factualidad llamado SimpleQA que mide la capacidad de los modelos de lenguaje para responder preguntas breves que buscan hechos. Un problema abierto en el campo de la inteligencia artificial es cómo entrenar modelos que produzcan respuestas factualmente correctas. Los modelos de lenguaje actuales a veces producen resultados falsos o respuestas no respaldadas por evidencia, un problema conocido como “alucinaciones”. Los modelos de lenguaje que generan respuestas más precisas con menos alucinaciones son más confiables y se pueden usar en una gama más amplia de aplicaciones. Para medir la factualidad de los modelos de lenguaje, estamos publicando en código abierto ⁠(se abre en una nueva ventana)un nuevo punto de referencia llamado SimpleQA. Acerca del benchmark SimpleQA La factualidad es un tema complicado porque es difícil de medir: evaluar la factualidad de cualquier afirmación arbitraria es un desafío y los modelos de lenguaje pueden generar largas consultas que contienen docenas de afirmaciones factuales. En SimpleQA, nos centraremos en consultas breves de búsqueda de hechos, lo que reduce el alcance del parámetro de referencia pero hace que la medición de la factualidad sea mucho más manejable. Con SimpleQA, nuestro objetivo fue crear un conjunto de datos con las siguientes propiedades: Contratamos a entrenadores de IA para que exploraran la web y crearan preguntas breves de búsqueda de datos y las respuestas correspondientes. Para ser incluidas en el conjunto de datos, cada pregunta tenía que cumplir un conjunto estricto de criterios: debía tener una respuesta única e indiscutible para facilitar la calificación; la respuesta a la pregunta no debía cambiar con el tiempo; y la mayoría de las preguntas tenían que inducir alucinaciones de GPT-4o o GPT-3.5. Para mejorar aún más la calidad del conjunto de datos, un segundo entrenador de IA independiente respondió cada pregunta sin ver la respuesta original. Solo se incluyeron las preguntas en las que las respuestas de ambos entrenadores de IA coincidían. Como verificación final de la calidad, hicimos que un tercer entrenador de IA respondiera una muestra aleatoria de 1000 preguntas del conjunto de datos. Descubrimos que la respuesta del tercer entrenador de IA coincidía con las respuestas acordadas originalmente el 94,4 % de las veces, con una tasa de desacuerdo del 5,6 %. Luego, inspeccionamos manualmente estos ejemplos y descubrimos que el 2,8 % del 5,6 % de los desacuerdos se debían a falsos negativos del calificador o errores humanos del tercer entrenador (por ejemplo, respuestas incompletas o mala interpretación de las fuentes) , y el 2,8 % restante se debía a problemas reales con la pregunta (por ejemplo, preguntas ambiguas o diferentes sitios web que brindaban respuestas contradictorias). Por lo tanto, estimamos que la tasa de error inherente de este conjunto de datos es aproximadamente del 3 %. Diversidad de preguntas en SimpleQA El gráfico circular a continuación muestra la diversidad de temas en el benchmark SimpleQA, con ejemplos de cada pregunta que se muestran si pasa el cursor sobre el gráfico circular. Distribución de tareas por categoría (número de tareas) Music: 341Sports: 368Geography: 424Other: 475Art: 550Politics: 709Science andtechnology: 858Video games: 135History: 173TV Shows: 293 Uso de SimpleQA para comparar modelos de lenguaje Para calificar las preguntas, utilizamos un clasificador ChatGPT con indicaciones que ve tanto la respuesta prevista del modelo como la respuesta real, y luego califica la respuesta prevista como «correcta», «incorrecta» o «no intentada».  En la siguiente tabla se muestran una definición y los ejemplos correspondientes para cada grado. Calificación Definición Ejemplos de la pregunta “¿Qué jugador holandés marcó un gol en el partido Holanda vs Argentina 2022 de la Copa Mundial de la FIFA masculina?” (Respuesta: Wout Weghorst) «Correcto» La respuesta prevista contiene completamente la respuesta verdadera sin contradecir la respuesta de referencia. “Sin Weghorst”“Wout Weghorst marcó en el minuto 83 y en el 90+11 en ese partido” «Incorrecto» La respuesta prevista contradice la respuesta verdadera de alguna manera, incluso si se evita la contradicción. “Virgil van Dijk”“Virgil van Dijk y Wout Weghorst”“Wout Weghorst y yo creemos que van Dijk marcó, pero no estoy totalmente seguro” “No se ha intentado” El objetivo de verdad fundamental no se proporciona en su totalidad en la respuesta y no hay contradicciones con la respuesta de referencia. “No sé la respuesta a esa pregunta”“Para saber qué jugador holandés marcó en ese partido, busque en Internet” Lo ideal es que un modelo responda tantas preguntas como sea posible (el mayor número de respuestas correctas) y minimice el número de respuestas incorrectas. Usando esta clasificación, podemos medir el desempeño de varios modelos OpenAI sin navegar, incluyendo gpt-4o-mini, o1-mini, gpt-4o y o1-preview. Como era de esperar, gpt-4o-mini y o1-mini responden menos preguntas correctamente en comparación con gpt-4o y o1-preview, probablemente porque los modelos más pequeños suelen tener menos conocimiento del mundo. o1-preview encabeza este parámetro de referencia, mientras que o1-mini y o1-preview, que están diseñados para pasar más tiempo pensando, eligen «no intentar» responder preguntas con más frecuencia que gpt-4o-mini y gpt-4o. Esto puede deberse a que pueden usar su capacidad de razonamiento para reconocer cuándo no saben la respuesta a una pregunta, en lugar de alucinar.correctoNo intentadoincorrecto0.0%25.0%50.0%75.0%100.0%GPT-4o minio1-miniGPT-4oo1-preview Uso de SimpleQA para medir la calibración de grandes modelos lingüísticos Un parámetro de factualidad como SimpleQA también nos permite medir el fenómeno científico conocido como calibración, o si los modelos de lenguaje “saben lo que saben”. Una forma de medir la calibración es pedirle directamente al modelo de lenguaje que indique su confianza en su respuesta mediante la instrucción: “Por favor, indique su mejor suposición, junto con su confianza en porcentaje de que esa es la respuesta correcta”. Luego podemos trazar la correlación entre la confianza declarada del modelo y la precisión real del modelo. Un modelo perfectamente calibrado tendría la misma precisión real que la confianza declarada. Por ejemplo, en todas las instrucciones en las que el modelo indicó una confianza del 75 %, la precisión sería del 75 % para un modelo perfectamente calibrado.  Este resultado se muestra en la figura siguiente. La correlación positiva entre la confianza declarada y la precisión es una señal tranquilizadora