Investigadores de Johns Hopkins muestran cómo diferentes «probabilidades» pueden enseñar a los modelos de IA a admitir cuándo no tienen suficiente confianza en una respuesta.
En situaciones cruciales como la atención médica —o en Jeopardy! entre semana— , puede ser más seguro decir «no sé» que responder incorrectamente. Médicos, concursantes de concursos y personas que realizan exámenes estandarizados lo entienden, pero la mayoría de las aplicaciones de inteligencia artificial aún prefieren dar una respuesta potencialmente incorrecta antes que admitir la incertidumbre.
Los científicos informáticos de Johns Hopkins creen tener una solución: un nuevo método que permite a los modelos de IA dedicar más tiempo a pensar en los problemas y utiliza un puntaje de confianza para determinar cuándo la IA debería decir «No sé» en lugar de arriesgarse a una respuesta incorrecta, algo crucial para dominios de alto riesgo como la medicina, el derecho o la ingeniería.
El equipo de investigación presentará sus hallazgos en la 63ª Reunión Anual de la Asociación de Lingüística Computacional , que se celebrará del 27 de julio al 1 de agosto en Viena, Austria.»Cuando se exige un alto nivel de confianza, dejar que el sistema piense más significa que proporcionará más respuestas correctas
y más respuestas incorrectas».William JurayjEstudiante de doctorado, Escuela de Ingeniería Whiting
Todo comenzó cuando vimos que los modelos de lenguaje de vanguardia de gran tamaño dedican más tiempo a pensar en la solución de problemas más complejos. Por eso, nos preguntamos: ¿puede este tiempo adicional de reflexión también ayudar a estos modelos a determinar si un problema se ha resuelto correctamente para que puedan informarlo al usuario?, afirma el primer autor, William Jurayj , estudiante de doctorado en informática afiliado al Centro de Procesamiento del Lenguaje y el Habla de la Escuela de Ingeniería Whiting .
Para investigar, el equipo solicitó a grandes modelos lingüísticos que generaran cadenas de razonamiento de diferentes longitudes mientras resolvían problemas matemáticos complejos. Posteriormente, midieron cómo la longitud de la cadena afectaba tanto la respuesta final del modelo como su confianza en ella. Los investigadores hicieron que los modelos respondieran solo cuando su confianza superaba un umbral determinado, lo que significaba que «No lo sé» era una respuesta aceptable.
Descubrieron que pensar de forma más general mejora la precisión y la confianza de los modelos. Pero incluso con tiempo suficiente para reflexionar, los modelos pueden realizar conjeturas arriesgadas o dar respuestas incorrectas, especialmente sin penalizaciones por errores. De hecho, los investigadores descubrieron que, al establecer un alto nivel de confianza y dejar que los modelos pensaran durante más tiempo, su precisión disminuía.
«Esto sucede porque la precisión de las respuestas es solo una parte del rendimiento de un sistema», explica Jurayj. «Cuando se exige un alto nivel de confianza, dejar que el sistema piense más significa que proporcionará más respuestas correctas y más incorrectas. En algunos entornos, las respuestas correctas adicionales justifican el riesgo. Pero en otros entornos de alto riesgo, esto podría no ser así».
Motivado por este hallazgo, el equipo sugirió tres configuraciones de «probabilidades» diferentes para penalizar las respuestas incorrectas: probabilidades de examen, donde no hay penalización por una respuesta incorrecta; probabilidades de Jeopardy!, donde las respuestas correctas se recompensan con la misma frecuencia que las incorrectas; y probabilidades de alto riesgo, donde una respuesta incorrecta se penaliza mucho más que una correcta.
Descubrieron que, con probabilidades más estrictas, un modelo debería negarse a responder una pregunta si no está lo suficientemente seguro de su respuesta después de agotar su presupuesto computacional. Y con umbrales de confianza más altos, esto implica que más preguntas quedan sin respuesta, lo cual no es necesariamente negativo.
«Un estudiante podría sentirse un poco molesto por esperar 10 minutos solo para descubrir que necesita resolver un problema de matemáticas por sí mismo porque el modelo de IA no está seguro», dice Jurayj. «Pero en entornos de alto riesgo, esto es infinitamente preferible a esperar cinco minutos por una respuesta que parece correcta, pero no lo es».
Ahora, el equipo está animando a la comunidad de investigación de IA en general a informar sobre el rendimiento de sus modelos al responder preguntas en exámenes y las probabilidades de Jeopardy! para que todos puedan beneficiarse de la IA con una confianza mejor calibrada.
«Esperamos que la comunidad investigadora acepte nuestra invitación a informar el desempeño en entornos con costos distintos de cero por respuestas incorrectas, ya que esto motivará naturalmente el desarrollo de mejores métodos para la cuantificación de la incertidumbre», afirma Jurayj.
Otros autores de este trabajo incluyen al estudiante de posgrado Jeffrey Cheng y a Benjamin Van Durme , profesor asociado de informática afiliado al CLSP y al Centro de Excelencia en Tecnología del Lenguaje Humano . Universidad Johns Hopkins News. Traducido al español
