OpenBioLLM , una serie de modelos Llama perfeccionados de la empresa de ciencias biológicas Saama , optimiza las tareas que pueden acelerar los ensayos clínicos y crear potencialmente nuevas posibilidades en la medicina personalizada.
Estos modelos generan protocolos de ensayos clínicos, informes de estudios clínicos y otros documentos necesarios para acelerar la generación de protocolos y el análisis de datos, lo que permite ofrecer a los pacientes tratamientos que pueden salvarles la vida antes. También mejoran la precisión del diagnóstico y la planificación del tratamiento mediante un procesamiento eficiente de la información, ofreciendo a los médicos y a los pacientes información respaldada por datos para ayudarlos a tomar decisiones sobre la atención médica.
“Como modelo de código abierto, OpenBioLLM es accesible para investigadores y proveedores de atención médica de todo el mundo, y el impacto en el mundo real ha sido significativo”, afirma Malaikannan Sankarasubbu, director de tecnología e inteligencia artificial de Saama.
Los dos modelos Saama (OpenBioLLM-8B y OpenBioLLM-70B) aprovechan la arquitectura de Llama 3 para agilizar la extracción de información de los documentos de ensayos clínicos, el análisis de datos, la generación de protocolos clínicos y el razonamiento de gráficos de conocimiento médico.
OpenBioLLM ha sido ampliamente adoptado en el desarrollo clínico de aplicaciones biomédicas y de atención médica, lo que facilita la investigación y el análisis, la gestión de datos y la eficiencia operativa. Los modelos pueden ayudar en el descubrimiento de fármacos y respaldar el análisis genómico. Otros investigadores están aprovechando esta tecnología para su propio trabajo, incluido un artículo reciente presentado en una conferencia de la Asociación de Lingüística Computacional.
“Los impactos tangibles demuestran cómo la IA, en particular los modelos basados en Llama, pueden revolucionar la atención médica y las ciencias biológicas, mejorando potencialmente los resultados de los pacientes y salvando vidas”, afirma Sankarasubbu. “Nuestro compromiso con el desarrollo de código abierto nos ha permitido compartir los avances con la comunidad científica en general, fomentando la colaboración y la innovación en la IA biomédica. Estos modelos están allanando el camino para una atención médica altamente personalizada”.
Construir con Llama en casos de uso complejos
El uso de Llama por parte de Saama ha evolucionado significativamente y se ha ampliado a casos de uso complejos, como la generación de protocolos, el razonamiento de gráficos de conocimiento médico y el análisis de documentos de ensayos clínicos. El equipo desarrolló modelos especializados para diferentes temas médicos y mejoró significativamente el rendimiento en las tareas biomédicas cuando escaló sus modelos a parámetros 8B y 70B con el lanzamiento de Llama 2 y 3. Actualmente, la empresa está explorando aplicaciones multimodales, integrando modelos basados en Llama con imágenes médicas y datos genómicos.
Para garantizar la privacidad y el cumplimiento normativo en un entorno sanitario altamente regulado, Saama desarrolló técnicas avanzadas de desidentificación y protocolos seguros de manejo de datos para cumplir con las normativas sanitarias, como la HIPAA. Los investigadores de inteligencia artificial internos de Saama abordan cualquier desafío que surja para garantizar que OpenBioLLM mantenga su condición de modelo de lenguaje biomédico de vanguardia. El equipo empleó protocolos de prueba rigurosos y colaboró con profesionales médicos para validar los resultados del modelo y mitigar los sesgos.
Cuando el equipo implementó Llama para aplicaciones biomédicas, se basó en la experiencia con MedMCQA, un conjunto de datos diseñado para abordar preguntas de exámenes de ingreso a la medicina del mundo real. Un proceso de ajuste fino de dos etapas implicó varios pasos clave, incluida la curación de un conjunto de datos de instrucción médica de alta calidad y la creación de un conjunto de datos de Optimización de preferencias directas (DPO) utilizando evaluaciones de expertos médicos. Como marco de ajuste fino, el equipo adaptó la biblioteca Hugging Face Transformers y el módulo TRL para casos de uso biomédicos específicos.
“Un enfoque integral para el ajuste fino permitió al equipo crear modelos que se destacan en tareas biomédicas y superan a modelos patentados más grandes en puntos de referencia específicos”, afirma Sankarasubbu. “El equipo utilizó Llama 3 como modelo base para las versiones de parámetros 8B y 70B”.
El camino del código abierto hacia el éxito
Saama abrió su laboratorio de investigación de inteligencia artificial en 2017, lo que permitió la innovación colaborativa con desarrolladores e investigadores talentosos de todo el mundo. Sankarasubbu atribuye el código abierto al éxito de Saama.
“El código abierto está preparado para revolucionar la IA biomédica, fomentando un ecosistema más inclusivo e innovador y democratizando el acceso a tecnologías sanitarias avanzadas”, afirma Sankarasubbu.
Las conexiones con universidades han ayudado a que los proyectos y artículos de código abierto de Saama sean más prácticos y tengan mayor impacto. El enfoque de la empresa para compartir conocimientos incluye la publicación de artículos de investigación en conferencias de primer nivel y la apertura de muchos proyectos de GitHub, lo que le permite contribuir y beneficiarse del acervo de conocimientos global. Los principales actores de la IA han utilizado sus contribuciones de código abierto, incluidos conjuntos de datos y puntos de referencia.
“La respuesta positiva y el reconocimiento que hemos recibido han reforzado nuestro compromiso con una cultura de investigación abierta”, afirma Sankarasubbu. “Los enfoques colaborativos conducen a avances más rápidos, y la alineación de los proyectos de código abierto con las directrices médicas garantiza una innovación responsable en la IA para la atención médica”.
A medida que el ecosistema de Llama evoluciona, Saama anticipa expandir su uso en actualizaciones regulares del modelo basadas en cada nueva iteración de Llama, incluyendo Llama 3.1 y futuras versiones. Meta Blog. Traducido al español
Contacto