Modelo de visión artificial para la detección de pododermatitis y neoplasias de la pata canina

Andrés Smith, Patrick W. Carroll, Srikanth Aravamuthan, Emil Walleser, Haley Lin, Kelly Anklam, Dörte Döpfer, Neoklis Apostolopoulos

Primera publicación: 06 de diciembre de 2023

Andrew Smith y Patrick W. Carroll deben ser considerados primeros autores conjuntos.

Fondo

La inteligencia artificial (IA) se ha utilizado con éxito en la dermatología humana. La IA utiliza redes neuronales convolucionales (CNN) para realizar tareas como la clasificación de imágenes, la detección y segmentación de objetos, lo que facilita el diagnóstico temprano. La visión artificial (CV), un campo de la IA, ha mostrado grandes resultados en la detección de signos de enfermedades de la piel humana. Las enfermedades de la piel de las patas de los perros son un problema común en la práctica veterinaria general, y las herramientas de visión artificial podrían facilitar la detección y el seguimiento de los procesos patológicos. Actualmente, no existe ninguna herramienta de este tipo disponible en la dermatología veterinaria.

Animales

Se utilizaron imágenes digitales de patas de perros sanos y patas con pododermatitis o neoplasia.

Objetivos

Probamos el novedoso modelo de detección de objetos Pawgnosis, un modelo de análisis de imágenes Tiny YOLOv4 implementado en una microcomputadora con una cámara para la detección rápida de pododermatitis y neoplasia canina.

Materiales y métodos

Las métricas de rendimiento de predicción utilizadas para evaluar los modelos incluyeron precisión promedio media (mAP), precisión, recuperación, precisión promedio (AP) para exactitud y cuadros por segundo (FPS) para velocidad.

Resultados

Un gran conjunto de datos etiquetado por un solo individuo (Conjunto de datos A) utilizado para entrenar un modelo Tiny YOLOv4 proporcionó los mejores resultados con un mAP medio de 0,95, precisión de 0,86, recuperación de 0,93 y 20 FPS.

Conclusiones y relevancia clínica

Este novedoso modelo de detección de objetos tiene potencial de aplicación en el campo de la dermatología veterinaria.

INTRODUCCIÓN

La inteligencia artificial (IA) puede proporcionar herramientas valiosas para la medicina veterinaria para aliviar las dificultades de diagnóstico y los problemas de manejo de enfermedades a largo plazo, de manera similar a sus aplicaciones en la medicina humana. La visión artificial (CV) es un campo de la IA que permite a las computadoras derivar predicciones significativas de varios aspectos de las enfermedades, mediante la interpretación de imágenes digitales, videos y otras fuentes visuales. ^1 , 2 En dermatología humana, se ha demostrado que los enfoques de CV para detectar signos de enfermedades de la piel funcionan de manera igual a los de los especialistas certificados. ³ La detección de objetos es un enfoque de CV y ​​es el proceso de identificar y localizar objetos específicos en imágenes o videos utilizando algoritmos de CV. Puede facilitar un diagnóstico rápido y no invasivo, que no requiere personal adicional ni trabajo manual. El apoyo diagnóstico para lesiones cutáneas o detección de enfermedades sería un activo importante para los veterinarios de todo el mundo.

Las redes neuronales convolucionales (CNN) son tipos de redes neuronales que se utilizan con frecuencia para el análisis de imágenes médicas. ⁴ Estas redes pueden realizar tareas como la clasificación de imágenes, la detección y segmentación de objetos (consulte el Apéndice  S1 ). Se han utilizado grandes conjuntos de datos de miles a millones de imágenes para entrenar modelos CNN para clasificar y detectar una amplia gama de objetos. ^5 , 6

Un factor limitante para la creación de estos modelos es la obtención de un conjunto de datos lo suficientemente grande y completo como para entrenar una estructura CNN. El uso del aprendizaje por transferencia, un método en el que los modelos preexistentes se entrenan previamente en amplios conjuntos de datos de imágenes, representa un enfoque viable para entrenar modelos CV para la detección de signos de enfermedad. ⁵ Después del aprendizaje por transferencia, los modelos CV se pueden adaptar a la tarea específica de interés. ⁶ En el aprendizaje automático y CV, los modelos de detección de objetos analizan una imagen e identifican la presencia de clases de objetos específicos dentro de ella. Tras la detección, los cuadros delimitadores delimitan estos objetos. El modelo identifica la clase por forma, color y textura, diferenciándola del fondo y calcula una probabilidad de clase. ⁷

You Only Look Once (YOLO) es una CNN para realizar un aprendizaje profundo de detección de objetos en tiempo real que se ha convertido en un método estándar en el campo de CV. ⁸ La primera versión de YOLO se lanzó en 2015. ⁸ YOLOv4 es una arquitectura implementada originalmente en un marco TensorFlow que detecta objetos en un solo paso. ⁹ Tiny YOLOv4 es una versión comprimida de YOLOv4 diseñada para dispositivos más pequeños con potencia de cómputo limitada. ¹⁰ Los modelos Tiny YOLOv4 tienen una estructura de red más simple y menos parámetros para entrenar en comparación con YOLOv4. ¹¹ Tiny YOLOv4 compensa una mayor velocidad con una menor precisión en comparación con YOLOv4. ^{9 , 12 – 14}

Las patas son una región corporal discreta con enfermedades bien reconocidas para explorar la aplicación de la detección de objetos, en particular con fines de investigación. Una de las enfermedades más comunes es la pododermatitis canina. ¹⁵ Este estudio tuvo como objetivo entrenar e implementar un modelo de pododermatitis canina llamado Pawgnosis, que puede detectar patas de perros sanas, pododermatitis y casos de neoplasia en función de imágenes, videos o capturas de cámara en vivo en tiempo real.

MATERIALES Y MÉTODOS

Recopilación de imágenes y definición de clases

Se obtuvieron imágenes fijas y en video de las patas de los perros durante el curso de la práctica dermatológica clínica en la Facultad de Medicina Veterinaria de la Universidad de Wisconsin-Madison. Los clientes dieron su consentimiento informado por escrito para la adquisición de imágenes. Los criterios para la recolección de imágenes incluyeron estar sano, tener pododermatitis o mostrar signos de neoplasia. Las imágenes utilizadas en este estudio se obtuvieron de las posiciones ventral, dorsal y lateral de las patas de los perros, con diversos fondos e iluminación. Las imágenes se tomaron con los espacios interdigitales abiertos (viendo las membranas interdigitales) y cerrados, así como de las caras palmar/plantar entre las almohadillas de las patas.

Las tres clases de objetos utilizadas en este estudio se definen de la siguiente manera. Las patas sanas eran patas caninas libres de cualquier enfermedad clínicamente observable sin signos de inflamación, abrasiones o masas. Las patas con pododermatitis se definieron como patas caninas que mostraban signos clínicos de inflamación resultantes de cualquier enfermedad subyacente sin signos de neoplasia. Los signos de inflamación en las patas incluían lesiones únicas o múltiples que eran secas o costrosas, edematosas, eritematosas, nodulares, ulceradas o exudativas y podían incluir áreas focales de alopecia. Las patas con neoplasia se definieron como patas caninas que tenían una masa y, después de pruebas diagnósticas adicionales, se diagnosticaron como carcinoma de células escamosas, melanoma, osteosarcoma, tumores de mastocitos o sarcomas malignos de tejidos blandos. Los casos de linfoma no se incluyeron debido a la falta de imágenes.

Etiquetado de imágenes y definición de conjuntos de datos

Después de la recolección, las imágenes fueron etiquetadas manualmente utilizando las tres clases previamente definidas (Saludable, Pododermatitis, Neoplasia) para la detección de objetos y el programa LabelImg . Se crearon ¹⁶ cuadros delimitadores y archivos de anotación con formato YOLO para cada imagen de las patas de cada una de las tres clases. Estos cuadros fueron etiquetados como ‘saludable’, ‘pododermatitis’ o ‘neoplasia’.

Se generaron tres conjuntos de datos diferentes para comparar los rendimientos predictivos de los modelos de detección de objetos resultantes. Se calcularon la precisión media promedio (mAP), las métricas de precisión y recuperación para todas las clases y la precisión promedio (AP) para cada clase. ¹⁷ Para cada modelo, se midió el tiempo de inferencia para predecir los cuadros delimitadores y las etiquetas de clase correspondientes en una imagen utilizando cuadros por segundo (FPS). El conjunto de datos A contenía 575 imágenes etiquetadas por una persona que dibujaba cuadros relativamente anchos alrededor de toda el área de la pata durante el etiquetado (Tabla  S1 ). El conjunto de datos B contenía las mismas 575 imágenes etiquetadas por tres personas (Tabla  S1 ). El etiquetado se dividió equitativamente con una mezcla de cuadros estrechos alrededor de las lesiones o cuadros anchos alrededor del área de las patas afectadas durante el etiquetado, lo que resultó en múltiples cuadros por imagen. El conjunto de datos C incluyó 301 imágenes etiquetadas por dos personas que dibujaron una mezcla de cuadros relativamente estrechos alrededor del área de la pata afectada, lo que resultó en múltiples cuadros delimitadores no superpuestos o cuadros anchos alrededor del área de la pata afectada (Tabla  S1 ).

Construcción de modelos

^{Todo el procesamiento de datos y el} entrenamiento del modelo se realizaron en Python 3.8.18

Los tres conjuntos de datos se dividieron aleatoriamente en un 90 % de conjuntos de imágenes de entrenamiento y un 10 % de conjuntos de imágenes de validación sin fuga de datos, donde las imágenes de la misma pata se eliminan y no forman parte de los conjuntos de datos de entrenamiento y validación simultáneamente. Las frecuencias de las tres etiquetas de clase por conjunto de datos (A, B y C) se pueden encontrar en la Tabla  S2 .

Para el propósito del aprendizaje por transferencia, el modelo Tiny YOLOv4 se inicializó utilizando pesos de clasificación entrenados previamente en ImageNet. ¹⁹ Los modelos se entrenaron utilizando un tamaño de entrada de 416 × 416 píxeles para una cantidad máxima de lotes de 6000 con un tamaño de lote de 64 y una tasa de aprendizaje de 0,00261. Los modelos se entrenaron por triplicado para cada conjunto de datos (A, B y C) y las métricas de rendimiento de predicción se promediaron durante las tres ejecuciones de entrenamiento.

Los pesos del mejor modelo en las tres ejecuciones de entrenamiento del conjunto de datos A se usaron para la implementación del modelo Tiny YOLOv4 en un dispositivo de borde. Utilizando los mismos conjuntos de datos de entrenamiento y validación de las mejores tres ejecuciones de entrenamiento de Tiny YOLOv4, se entrenaron los modelos 5s y Tiny YOLOv7. Las implementaciones de YOLOv5 ( https://zenodo.org/record/7347926 ) y YOLOv7 ^20 20 se basan en Pytorch (Linux Foundation), ²¹ y se usaron como comparación para la velocidad de las detecciones en un dispositivo de borde. El dispositivo de borde utilizado para la implementación de los modelos Tiny YOLOV4, YOLOV5s y Tiny YOLOv7 fue un Jetson Xavier NX ( www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-xavier-nx/ ) conectado a una cámara OAK-1 (Luxonis) que aplica el marco DepthAI para la inferencia. ²² Esta configuración del prototipo del dispositivo de borde era independiente del acceso a la web y funcionaba con batería durante ocho horas de detección continua. Para la implementación del modelo Tiny YOLOv4 en nuestra clínica de dermatología veterinaria, se adaptó una computadora portátil Colab (Google) ²³ para ejecutar una cámara de detección incorporada en tiempo real en un teléfono inteligente. Esta implementación requirió acceso a la web y una cuenta gratuita de Google Colab.

RESULTADOS

A continuación se resumen los resultados de las sesiones de entrenamiento de modelos y el rendimiento de las predicciones durante la implementación de los modelos resultantes.

La duración del entrenamiento para cada modelo fue inferior a dos horas. Los valores de mAP para los tres conjuntos de datos se mantuvieron estables después de un número de iteraciones de aproximadamente 3000. El mAP para el conjunto de datos A fue mayor que para los conjuntos de datos B y C (Figura  1 ).

El mAP y la recuperación del conjunto de datos A fueron mayores que los del conjunto de datos B y C, mientras que la precisión fue similar para los tres conjuntos de datos (Figura  2 ). Los valores numéricos de las medias y los errores estándar (EE) de las métricas mAP se pueden encontrar en la Tabla  S2 .

La AP de pododermatitis y neoplasia para el conjunto de datos A fue mayor que la de los conjuntos de datos B y C, mientras que la AP de personas sanas fue similar para los tres conjuntos de datos (Figura  3 ). Los valores numéricos de las medias y los EE de las métricas de AP se pueden encontrar en la Tabla  S3 .

La Figura  4 muestra imágenes típicas para las tres clases, Saludable, Pododermatitis y Neoplasia y sus detecciones utilizando cuadros delimitadores con probabilidades de clase para cada uno de los tres conjuntos de datos (A, B y C). Las detecciones de las tres clases del Conjunto de datos A (Figura  4a–c ) muestran cuadros delimitadores más grandes y probabilidades de clase más altas en comparación con las de los conjuntos de datos B y C. No se obtuvieron detecciones del Conjunto de datos C para las clases Saludable y Neoplasia (Figura  4g,i , respectivamente). Los cuadros delimitadores más pequeños de los conjuntos de datos B y C se dibujaron ocasionalmente fuera del área de la pata relevante en las imágenes de Pododermatitis (Figura  4e,h ).

Las métricas de rendimiento de los modelos Tiny YOLOv4, YOLOv5s y Tiny YOLOv7 entrenados en el conjunto de datos A se resumen en la Tabla  1. Tiny YOLOv7 tuvo el mAP más alto (0,973) en comparación con los otros dos modelos. Implementamos estos modelos en un dispositivo de borde, donde Tiny YOLOv7 fue el más rápido con 40 FPS, y Tiny YOLOv4 y YOLOv5s tuvieron 20 FPS.TABLA 1. Media y error estándar (EE) de precisión media promedio (mAP), precisión y recuperación para los modelos Tiny YOLOv4, YOLOv5s y Tiny YOLOv7 entrenados en el conjunto de datos A.

				Precisión media
Modelo	Precisión	Recordar	mapa	Saludable	Pododermatitis	Neoplasia
Pequeño YOLOv4	0,86	0,93	0,967	94.4	98.9	96,7
Yolov5s	0,953	0,93	0,971	92.9	98.9	99,5
El pequeño YOLOv7	0,912	0,96	0,973	96.3	99,5	96.2

Realizamos una implementación preliminar limitada del modelo Tiny YOLOv4 en nuestra sala de exámenes dermatológicos como se ilustra en la Figura  5. La Figura  5a muestra la computadora de placa única Jetson Xavier NX conectada a la cámara OAK-1 para la detección en tiempo real de las tres clases: Saludable, Pododermatitis y Neoplasia. La Figura  5b muestra el cuadro delimitador resultante, la etiqueta de clase y la probabilidad de predicción de clase durante la detección en tiempo real de una lesión de pododermatitis en la pata de un perro, y la Figura  5c muestra la configuración esquemática del dispositivo de borde utilizado para la implementación en el entorno clínico.

DISCUSIÓN

En este estudio, aplicamos las redes neuronales convolucionales para detectar y clasificar objetos en imágenes en tiempo real. El modelo Pawgnosis predijo si una pata canina mostraba características de pododermatitis o neoplasia, o si era clínicamente normal, con un alto rendimiento después de aprender de un número limitado de imágenes. Demostramos que la herramienta Pawgnosis puede detectar las tres clases con supervisión en un entorno clínico veterinario.

Los modelos restringidos a estas tres clases no están exentos de limitaciones, y las aplicaciones de dichos modelos podrían expandirse subdividiendo y aumentando el número de estas clases. El modelo podría ampliarse para detectar brotes tempranos de pododermatitis resultantes de la dermatitis atópica (DA). Se pueden realizar estudios adicionales para demostrar la concordancia entre las detecciones del modelo y el sistema de puntuación de DA validado Canine Atopic Dermatitis Extent and Severity Index (CADESI)-04, ²⁴ u otras puntuaciones.

Las diferencias en el rendimiento del modelo entre los tres conjuntos de datos A, B y C enfatizan la importancia del tamaño de la muestra y las técnicas de etiquetado consistentes para lograr un rendimiento de predicción optimizado de los modelos CV. El modelo arrojó un mAP medio más alto cuando se entrenó en el conjunto de datos B (575 imágenes con múltiples etiquetadores) en comparación con el entrenamiento en el conjunto de datos C (301 imágenes con múltiples etiquetadores). Al comparar un solo etiquetador (conjunto de datos A) con múltiples etiquetadores (conjuntos de datos B y C), el modelo arrojó valores de mAP medios más altos cuando se entrenó en el conjunto de datos A que cuando se entrenó en los conjuntos de datos B y C (Figura  1 ). Esto es válido para todas las demás métricas de rendimiento, incluidas la precisión y la recuperación (Figura  2 ). Un solo etiquetador logró un mejor rendimiento que el etiquetado de varias personas. El conjunto de datos A superó a los conjuntos de datos B y C en mAP (0,95 en comparación con 0,54 y 0,53, respectivamente), recuperación (0,93 en comparación con 0,55 y 0,40, respectivamente) y precisión (0,82 en comparación con 0,71 y 0,66, respectivamente).

El AP del conjunto de datos A fue mayor que los mAP de los conjuntos de datos B y C para las clases de pododermatitis y neoplasia, mientras que la diferencia en AP entre el conjunto de datos A y los otros dos conjuntos de datos se redujo para la clase sana (Figura  3 ). Esto sugiere que el etiquetado afectó desproporcionadamente a las patas con lesiones dermatológicas en comparación con las patas sanas. Las patas sanas generalmente se etiquetaron con un solo recuadro alrededor de toda la pata en todos los conjuntos de datos. Por lo tanto, más recuadros con menos características generales darían como resultado una precisión menor.

Se desconoce la proporción del rendimiento del conjunto de datos A atribuible a un único etiquetador o a un aumento del tamaño y la simplicidad de las casillas etiquetadas. Suponemos que los beneficios de un único etiquetador contribuyeron a una reducción de la variación entre etiquetadores, lo que dio como resultado una mejor consistencia del etiquetado dentro del conjunto de datos. Un aumento del tamaño de las casillas etiquetadas para incluir la pata entera también disminuyó la variación entre etiquetadores. El etiquetado consistente de la pata entera en el conjunto de datos A fue más preciso que el etiquetado de lesiones individuales en los conjuntos de datos B y C. Se pueden realizar estudios adicionales que comparen conjuntos de datos con los mismos criterios de etiquetado y diferente número de etiquetadores con conjuntos de datos con diferentes criterios de etiquetado y el mismo número de etiquetadores para determinar la verdadera contribución relativa de cada factor. Para el análisis actual, una mayor consistencia del etiquetado y un mayor tamaño de muestra de los conjuntos de datos aumentaron el rendimiento de los modelos de CV de detección de objetos para lesiones dermatológicas. Se recomienda encarecidamente el etiquetado bajo la supervisión de dermatólogos veterinarios certificados.

La inteligencia artificial en la medicina veterinaria es un campo emergente que se ha aplicado principalmente a animales grandes, patología clínica y anatómica y radiología. ^25 – 36 El uso de IA para el diagnóstico de enfermedades de la piel en perros es poco común. ^37 – 39 Estudios anteriores utilizaron la clasificación de imágenes para etiquetar imágenes completas, mientras que el enfoque actual utiliza la detección de objetos no solo para localizar, sino también para etiquetar objetos individuales dentro de una imagen. Un estudio informó un modelo YOLOv5 para la enfermedad del ojo seco en perros con un mAP muy alto de 0,995. ⁴⁰ Otro grupo construyó un modelo para dermatofitosis, sarna y pulgas. ³⁸ Otro modelo evaluó 12 enfermedades de la piel de los perros. ³⁷ En 2022, los investigadores evaluaron imágenes de perros con infección cutánea por hongos, dermatitis bacteriana y alergias. ³⁹ No se proporcionan más detalles sobre cómo se realizaron los diagnósticos. Desde una perspectiva dermatológica, también se desconocía si los perros tenían infecciones cutáneas secundarias y cuáles eran los factores de complicación más comunes. Los tres estudios proporcionaron información limitada sobre las personas que realizaron el diagnóstico y sus conocimientos y formación en la práctica dermatológica veterinaria. En general, estos estudios previos, así como el estudio actual, proporcionan los primeros pasos y sirven como plataforma de lanzamiento para la implementación de la IA en la dermatología veterinaria.

Solo se implementaron modelos YOLO para comparar el rendimiento de los tres conjuntos de datos etiquetados e integrados en un dispositivo de borde para detectar las tres clases en un entorno clínico. Estudios adicionales pueden explorar las diferencias entre los tres modelos YOLO de última generación y otros modelos de detección de objetos. Los modelos de detección de objetos de dos etapas, como Faster R-CNN y Cascade R-CNN ^41 , 42 pueden aumentar la precisión para una mejor predicción en un dispositivo independiente. ^41 , 42 Otros modelos de detección de objetos de una etapa, como SSD y SSD Lite ^41 , 42 pueden ser livianos y aumentar la velocidad para una mejor predicción en una plataforma móvil. ^41 , 42 Sin embargo, los modelos YOLO proporcionaron mayor velocidad y mAP similar en comparación con SSD, ResNet y otros modelos en la práctica dermatológica humana. ^43 , 44

Nuestro próximo objetivo es implementar el modelo YOLO en un dispositivo de borde en un entorno clínico para su validación externa. CV se puede implementar en una computadora portátil o de escritorio, un dispositivo de borde o una aplicación basada en la nube para teléfonos inteligentes. Según el propósito de cada modelo, se puede implementar una opción diferente. Estos modelos se pueden utilizar para enseñar tanto a estudiantes de veterinaria como a veterinarios y ayudar en la toma de decisiones diagnósticas.

CONCLUSIÓN

Según el conocimiento de los autores, la herramienta Pawgnosis es el primer modelo de detección de objetos que utiliza la VC en dermatología veterinaria. Tiene el potencial de convertirse en un modelo de VC rápido y preciso para el tratamiento de la pododermatitis canina. El modelo se puede mejorar aún más para la detección en tiempo real de la pododermatitis y el seguimiento de la progresión o los efectos del tratamiento. También puede hacer recomendaciones para futuros pasos de diagnóstico. La implementación de Pawgnosis en dispositivos portátiles con veterinarios de primera opinión optimizará aún más el modelo. Pawgnosis se puede utilizar como una herramienta clínica, de investigación o didáctica. Se necesitan más estudios para ampliar sus capacidades y validar su generalización y aplicabilidad en la práctica clínica diaria.

CONTRIBUCIONES DEL AUTOR

Andrew Smith: Análisis formal; investigación; metodología; redacción – borrador original. Patrick W. Carroll: Análisis formal; metodología; redacción – borrador original; investigación. Srikanth Aravamuthan: Análisis formal; investigación; metodología; software; visualización; redacción – revisión y edición. Emil Walleser: Análisis formal; metodología; investigación; software. Haley Lin: Análisis formal; investigación; redacción – borrador original. Kelly Anklam: Investigación; redacción – revisión y edición. Dörte Döpfer: Conceptualización; análisis formal; investigación; metodología; curación de datos; administración de proyectos; software; redacción – revisión y edición; supervisión. Neoklis Apostolopoulos: Conceptualización; análisis formal; investigación; metodología; curación de datos; administración de proyectos; supervisión; redacción – revisión y edición; software; validación; redacción – borrador original.

EXPRESIONES DE GRATITUD

Los autores desean agradecer a todos los dueños de mascotas por enviar imágenes de sus mascotas.

INFORMACIÓN SOBRE FINANCIACIÓN

Autofinanciado.

DECLARACIÓN DE CONFLICTO DE INTERESES

Ninguno declarado.