Un nuevo método ayuda a transmitir la incertidumbre con mayor precisión, lo que podría brindar a los investigadores y médicos clínicos mejor información para tomar decisiones.
La ambigüedad en las imágenes médicas puede representar grandes desafíos para los médicos que intentan identificar enfermedades. Por ejemplo, en una radiografía de tórax, un derrame pleural (una acumulación anormal de líquido en los pulmones) puede parecerse mucho a los infiltrados pulmonares, que son acumulaciones de pus o sangre.
Un modelo de inteligencia artificial podría asistir al médico en el análisis de rayos X, ayudándole a identificar detalles sutiles y optimizando el proceso de diagnóstico. Sin embargo, dado que una sola imagen puede contener tantas afecciones posibles, el médico probablemente preferiría considerar un conjunto de posibilidades, en lugar de evaluar solo una predicción de IA.
Una forma prometedora de generar un conjunto de posibilidades, denominada clasificación conforme, es conveniente porque se puede implementar fácilmente sobre un modelo de aprendizaje automático existente. Sin embargo, puede generar conjuntos de un tamaño impráctico.
Los investigadores del MIT han desarrollado una mejora simple y efectiva que puede reducir el tamaño de los conjuntos de predicciones hasta en un 30 por ciento, haciendo al mismo tiempo que las predicciones sean más confiables.
Disponer de un conjunto de predicciones más reducido puede ayudar al médico a identificar el diagnóstico correcto con mayor eficiencia, lo que podría mejorar y agilizar el tratamiento de los pacientes. Este método podría ser útil en diversas tareas de clasificación (por ejemplo, para identificar la especie de un animal en una imagen de un parque natural), ya que ofrece un conjunto de opciones más reducido pero más preciso.
“Al tener menos clases a considerar, los conjuntos de predicciones son naturalmente más informativos, ya que se elige entre menos opciones. En cierto sentido, no se sacrifica nada en términos de precisión por algo más informativo”, afirma Divya Shanmugam, doctora en la promoción de 2024, posdoctora en Cornell Tech, quien realizó esta investigación mientras era estudiante de posgrado en el MIT.
Shanmugam colabora en el artículo con Helen Lu (promoción de 2024); Swami Sankaranarayanan, exinvestigador posdoctoral del MIT y actual investigador en Lilia Biosciences; y el autor principal, John Guttag, profesor Dugald C. Jackson de Ciencias de la Computación e Ingeniería Eléctrica del MIT y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL). La investigación se presentará en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones en junio.
Garantías de predicción
Los asistentes de IA implementados para tareas cruciales, como la clasificación de enfermedades en imágenes médicas, suelen estar diseñados para generar una puntuación de probabilidad junto con cada predicción, de modo que el usuario pueda evaluar la fiabilidad del modelo. Por ejemplo, un modelo podría predecir que existe un 20 % de probabilidad de que una imagen corresponda a un diagnóstico específico, como la pleuresía.
Sin embargo, es difícil confiar en la confianza predicha de un modelo, ya que numerosas investigaciones previas han demostrado que estas probabilidades pueden ser inexactas. Con la clasificación conforme, la predicción del modelo se sustituye por un conjunto de los diagnósticos más probables, junto con la garantía de que el diagnóstico correcto se encuentra en algún punto del conjunto.
Pero la incertidumbre inherente a las predicciones de la IA a menudo hace que el modelo genere conjuntos demasiado grandes para ser útiles.
Por ejemplo, si un modelo clasifica un animal en una imagen como una de 10.000 especies potenciales, podría generar un conjunto de 200 predicciones para ofrecer una garantía sólida.
“Son muchas clases las que hay que revisar para determinar cuál es la adecuada”, afirma Shanmugam.
La técnica también puede ser poco confiable porque pequeños cambios en las entradas, como rotar levemente una imagen, pueden producir conjuntos de predicciones completamente diferentes.
Para que la clasificación conforme sea más útil, los investigadores aplicaron una técnica desarrollada para mejorar la precisión de los modelos de visión por computadora llamada aumento del tiempo de prueba (TTA).
TTA crea múltiples aumentos de una sola imagen en un conjunto de datos, tal vez recortándola, volteándola, acercándola, etc. Luego aplica un modelo de visión por computadora a cada versión de la misma imagen y agrega sus predicciones.
De esta manera, se obtienen múltiples predicciones a partir de un solo ejemplo. Esta agregación de predicciones mejora la precisión y la robustez de las predicciones, explica Shanmugam.
Maximizar la precisión
Para aplicar el TTA, los investigadores presentan datos de imágenes etiquetadas utilizados en el proceso de clasificación conforme. Aprenden a agregar las mejoras de estos datos, ampliando automáticamente las imágenes para maximizar la precisión de las predicciones del modelo subyacente.
Luego, ejecutan la clasificación conforme sobre las nuevas predicciones del modelo, transformadas mediante TTA. El clasificador conforme genera un conjunto más pequeño de predicciones probables para la misma garantía de confianza.
“Combinar el aumento del tiempo de prueba con la predicción conforme es fácil de implementar, eficaz en la práctica y no requiere reentrenamiento del modelo”, afirma Shanmugam.
En comparación con trabajos anteriores en predicción conforme en varios puntos de referencia de clasificación de imágenes estándar, su método aumentado con TTA redujo los tamaños de los conjuntos de predicción en los experimentos, del 10 al 30 por ciento.
Es importante destacar que la técnica logra esta reducción en el tamaño del conjunto de predicciones manteniendo la garantía de probabilidad.
Los investigadores también descubrieron que, aunque sacrifican algunos datos etiquetados que normalmente se utilizarían para el procedimiento de clasificación conforme, el TTA aumenta la precisión lo suficiente como para compensar el costo de perder esos datos.
Esto plantea preguntas interesantes sobre cómo utilizamos los datos etiquetados después del entrenamiento del modelo. La asignación de datos etiquetados entre los diferentes pasos posteriores al entrenamiento es una dirección importante para el trabajo futuro, afirma Shanmugam.
En el futuro, los investigadores buscan validar la eficacia de este enfoque en el contexto de modelos que clasifican texto en lugar de imágenes. Para mejorar aún más el trabajo, también están considerando maneras de reducir la cantidad de computación requerida para el TTA.
Esta investigación está financiada, en parte, por la Corporación Wistrom. MIT News. A. Z. Traducido al español
Contacto