NVIDIA NIM Operator 2.0 impulsa la implementación de IA con compatibilidad con microservicios NVIDIA NeMo

La primera versión de NVIDIA NIM Operator simplificó la implementación y la gestión del ciclo de vida de las canalizaciones de inferencia para microservicios 
de NVIDIA NIM , lo que redujo la carga de trabajo de los ingenieros de MLOps y LLMOps, y de los administradores de Kubernetes.

Permitió una implementación, escalado automático y actualización de NIM en clústeres de Kubernetes fáciles y rápidos. Obtenga más información sobre la primera versión .

Nuestros clientes y socios han estado utilizando el Operador NIM para gestionar eficientemente los canales de inferencia de sus aplicaciones, como chatbots, RAG agentic y descubrimiento virtual de fármacos. Nuestros socios, del equipo de Soluciones de Computación de Cisco , utilizan el Operador NIM para implementar el Plan de Inteligencia Artificial de NVIDIA para RAG como parte del Diseño Validado de Cisco . 

Integramos estratégicamente NVIDIA NIM Operator con Cisco Validated Design (CVD) en nuestra infraestructura preparada para IA, lo que mejora los procesos de generación con recuperación aumentada de nivel empresarial. NIM Operator optimiza significativamente los procesos de implementación, escalado automático e implementación de NVIDIA NIM. El almacenamiento en caché de modelos altamente eficiente de NIM Operator mejora considerablemente el rendimiento de las aplicaciones de IA, y el recurso personalizado NIMPipeline unifica la gestión de múltiples servicios NIM mediante un único archivo de configuración declarativo. La combinación de operaciones optimizadas y una gestión eficiente de recursos mejora significativamente la eficiencia operativa general al implementar y administrar NIM en la infraestructura de Cisco. — Paniraja Koppa, líder de ingeniería de marketing técnico, Cisco Systems

Con el lanzamiento de NVIDIA NIM Operator 2.0 , añadimos la capacidad de implementar y gestionar el ciclo de vida de los microservicios NVIDIA NeMo . Los microservicios NeMo son un conjunto de herramientas para crear flujos de trabajo de IA, como un volante de inercia de datos de IA , en su clúster de Kubernetes, ya sea local o en la nube. 

NVIDIA presenta nuevas definiciones de recursos personalizados (CRD) de Kubernetes para implementar tres microservicios principales de NeMo:

1. NeMo Customizer : facilita el ajuste fino de modelos de lenguaje grandes (LLM) mediante técnicas de ajuste fino supervisadas y con parámetros eficientes.
2. NeMo Evaluator : ofrece capacidades de evaluación integrales para LLM, respaldando puntos de referencia académicos, evaluaciones automatizadas personalizadas y enfoques de LLM como juez.
3. NeMo Guardrails : agrega controles de seguridad y moderación de contenido a los puntos finales de LLM, protegiendo contra alucinaciones, contenido dañino y vulnerabilidades de seguridad.

Capacidades y beneficios principales

Esta versión incluye varias características nuevas y actualizadas, incluidas las siguientes.

Implementaciones fáciles y rápidas

El operador NIM simplifica la implementación de microservicios NIM y NeMo para flujos de trabajo de IA en solo unos pocos pasos y admite dos tipos de implementación:

1. El inicio rápido proporciona dependencias seleccionadas, como bases de datos y servidores OTEL , para ejecutar rápidamente sus flujos de trabajo de IA. Descubra cómo empezar .

2. Configuración personalizada que permite personalizar los CRD de microservicios de NeMo para usar sus dependencias de producción y seleccionar los microservicios que desea implementar. Comience con nuestra documentación.

Operaciones simplificadas del día 2

El operador NIM facilita la gestión de las operaciones del día 2. Permite configurar actualizaciones continuas, el ingreso y el escalado automático. Esto incluye:

1. Actualizaciones simplificadas : Compatibilidad con actualizaciones continuas de microservicios de NeMo con una estrategia de actualización personalizable. Al cambiar el número de versión de los CRD de microservicios de NeMo, el operador de NIM actualiza las implementaciones en el clúster y gestiona cualquier cambio en el esquema de la base de datos.
2. Reglas de ingreso configurables : reglas de ingreso de Kubernetes para microservicios NeMo, que permiten el acceso personalizado al host/ruta de las API.
3. Escalado automático : Permite el escalado automático de la implementación de microservicios de NeMo y su ReplicaSet mediante el escalador automático de pods horizontales (HPA) de Kubernetes. Los CRD de NemoCustomizer, NemoEvaluator y NemoGuardrails funcionan con todas las métricas y comportamientos de escalado habituales de HPA.

4. Gestión simplificada del flujo de trabajo de IA : El operador NIM puede simplificar la implementación de flujos de trabajo de IA. Por ejemplo, para implementar un chatbot LLM confiable, los usuarios pueden gestionar un único flujo de trabajo NIM de guardrails que implementa todos los componentes necesarios: LLM NIM y NeMo Guardrails NIM para seguridad de contenido, jailbreak y control de temas.
5. Matriz de soporte extendida : Microservicios NVIDIA NIM en diversos dominios, como razonamiento, recuperación, habla y biología. Probamos una amplia variedad de plataformas Kubernetes y hemos añadido numerosas configuraciones de seguridad específicas de cada plataforma o documentado restricciones de recursos.

Ampliamos continuamente la lista de microservicios NVIDIA NIM y NVIDIA NeMo compatibles. Para obtener más información sobre la lista completa de microservicios NIM y NeMo compatibles, consulte Compatibilidad de plataformas .

Empezar 

Al automatizar la implementación, el escalado y la gestión del ciclo de vida de los microservicios NVIDIA NIM y NVIDIA NeMo, NIM Operator facilita la adopción de flujos de trabajo de IA por parte de los equipos empresariales. Esta iniciativa se alinea con nuestro compromiso de facilitar la implementación de flujos de trabajo de IA con NVIDIA AI Blueprints y su rápida migración a producción. NIM Operator forma parte de NVIDIA AI Enterprise y proporciona soporte empresarial, estabilidad de API e implementación proactiva de parches de seguridad.

Comienza a través de NGC o desde el repositorio de GitHub . Si tienes preguntas técnicas sobre la instalación, el uso o algún problema, publica un problema en el repositorio de GitHub. NVIDIA Blog. M. K. , A. G. , S. S. , S. K. M. y M. Y. Traducido al español