Los microservicios de inferencia de NVIDIA permiten a Waymo y Mayo Clinic procesar de forma segura conjuntos de datos masivos con LLM locales.
Los Modelos de Lenguaje de Gran Tamaño (LLM), como Llama, son sistemas de IA entrenados con conjuntos de datos de texto masivos para comprender y generar texto con una estructura similar a la humana. Estos modelos impulsan aplicaciones que abarcan desde chatbots de atención al cliente hasta herramientas de creación de contenido. Sin embargo, su implementación en producción suele requerir una gran experiencia y recursos en infraestructura, de los que carecen muchas organizaciones.
Para abordar esto, NVIDIA desarrolló NIM Microservices. NIM simplifica la complejidad del backend con microservicios en contenedores que gestionan la infraestructura necesaria para ejecutar LLM de forma eficiente. En lugar de crear y mantener stacks de servidores personalizados, los desarrolladores pueden centrarse en crear aplicaciones basadas en IA que funcionen en diversos entornos.
NIM garantiza un rendimiento y una escalabilidad consistentes al integrar componentes en unidades portátiles, ya sea en la nube o localmente. Esto facilita el acceso a la IA avanzada a equipos sin conocimientos profundos de infraestructura.
Un ejemplo de esto es Mayo Clinic , donde NIM se implementa localmente para ejecutar LLM sin enviar datos confidenciales de los pacientes a la nube. En el ámbito de la IA en la atención médica, la seguridad y la velocidad no son incompatibles. NIM permite proteger los datos de los pacientes a la vez que acelera la obtención de información.
Implementación de IA local: seguridad y control
La combinación de NVIDIA NIM con la implementación de IA local permite a las industrias reguladas aprovechar las LLM sin enviar datos confidenciales a servicios externos en la nube. Para organizaciones sanitarias como Mayo Clinic , esto implica ejecutar cargas de trabajo de IA, como análisis de imágenes médicas, cumpliendo con estrictos estándares de seguridad y cumplimiento normativo.
Los servidores Dell PowerEdge ofrecen el rendimiento y la confiabilidad de nivel empresarial necesarios para estos entornos exigentes. Mayo Clinic está equipada con el sistema NVIDIA DGX Blackwell 200 , que ofrece 1,4 terabytes de memoria GPU, ideal para procesar imágenes grandes de portaobjetos completos. Este sistema se integra con la plataforma digital existente de Mayo y los laboratorios robóticos autónomos, lo que permite diagnósticos avanzados a una escala y velocidad sin precedentes.
Invertir en GPU especializadas e infraestructura local permite tiempos de respuesta más rápidos y mayor escalabilidad, a la vez que mantiene los datos dentro del perímetro seguro de la organización. Esto reduce el tiempo de análisis de horas a minutos, manteniendo al mismo tiempo los más altos estándares de seguridad.
Implementación de IA basada en la nube: escalabilidad y flexibilidad
Mayo Clinic recurre a la implementación local para cumplir con estrictos estándares de privacidad y cumplimiento normativo. En cambio, organizaciones como Waymo recurren a la nube para satisfacer las demandas de escala, velocidad y flexibilidad geográfica. Las flotas de vehículos autónomos generan enormes volúmenes de datos en tiempo real que deben procesarse instantáneamente en entornos distribuidos.
Waymo utiliza NVIDIA NIM para implementar IA en múltiples centros de datos, manteniendo un alto rendimiento. Sus vehículos autónomos generan constantemente datos de sensores que impulsan la toma de decisiones en carretera e impulsan mejoras continuas en los algoritmos de seguridad. Es fundamental procesar los datos de los sensores en tiempo real para mantener los estándares de seguridad, y la implementación en la nube con NIM permite a las empresas escalar sus capacidades de procesamiento en múltiples centros de datos.
Los sistemas NVIDIA DGX son plataformas de computación de IA preconfiguradas que combinan múltiples GPU con software optimizado. Las tecnologías NVIDIA NVLink y NVLink Switch conectan estas GPU a velocidades superiores a las de los métodos de conexión tradicionales.
Los sistemas NVIDIA DGX con NVLink ofrecen velocidades de ancho de banda de hasta 1,8 TB/s, el doble que la generación anterior. La infraestructura permite un análisis rápido de los patrones de conducción de toda la flota y acelera la validación de nuevos escenarios, lo que ayuda a Waymo a desarrollar su tecnología con mayor rapidez y, al mismo tiempo, a mantener la seguridad a gran escala.
La infraestructura que impulsa la IA moderna
NVIDIA NIM simplifica la implementación de IA al proporcionar microservicios en contenedores que gestionan los complejos requisitos de infraestructura de los sistemas de IA de producción. Ya sea que las organizaciones opten por una implementación local por seguridad o por la nube por escalabilidad, NIM sienta las bases para aplicaciones de IA fiables.
Dell Technologies Blog. L. L. Traducido al español
