Categoría: Nube e Infraestructura como Servicio

La explosión de aplicaciones impulsadas por IA ha impuesto exigencias sin precedentes tanto a los desarrolladores, que deben equilibrar la entrega de un rendimiento de vanguardia con la gestión de la complejidad y los costos operativos, como a la infraestructura de IA NVIDIA está capacitando a los desarrolladores con innovaciones integrales (que abarcan chips, sistemas y software) que redefinen lo que es posible en la inferencia de IA , haciéndola más rápida, más eficiente y más escalable que nunca. Implemente fácilmente inferencia de alto rendimiento y baja latencia Hace seis años, NVIDIA se propuso crear un servidor de inferencia de IA diseñado específicamente para desarrolladores que crean aplicaciones de producción de alto rendimiento y con latencia crítica. En ese momento, muchos desarrolladores se enfrentaban a servidores personalizados y específicos de cada marco que aumentaban la complejidad, elevaban los costos operativos y tenían dificultades para cumplir con los estrictos acuerdos de nivel de servicio en cuanto a latencia y rendimiento. Para abordar este problema, NVIDIA desarrolló NVIDIA Triton Inference Server , una plataforma de código abierto capaz de ofrecer modelos de cualquier marco de IA. Al consolidar servidores de inferencia específicos del marco, Triton optimizó la implementación de inferencia de IA y aumentó la capacidad de predicción de IA. Este enfoque ha convertido a Triton en uno de los proyectos de código abierto de NVIDIA más adoptados , que ahora utilizan cientos de organizaciones líderes para implementar modelos de IA de producción de manera eficiente. Además de Triton, NVIDIA ofrece un amplio ecosistema de soluciones de inferencia de IA. Para los desarrolladores que buscan herramientas potentes y personalizables, NVIDIA TensorRT ofrece una biblioteca de inferencia de aprendizaje profundo de alto rendimiento con API que permiten optimizaciones detalladas. Los microservicios NVIDIA NIM proporcionan un marco flexible para implementar modelos de IA en la nube, centros de datos o estaciones de trabajo. Optimizaciones para cargas de trabajo de inferencia de IA En la actualidad, la inferencia es un problema integral que requiere una infraestructura de alto rendimiento y un software eficiente para hacer un uso eficaz de esa infraestructura. Además, las cargas de trabajo de inferencia siguen siendo cada vez más desafiantes, ya que los tamaños de los modelos siguen creciendo y las restricciones de latencia se hacen más estrictas, todo ello mientras que la cantidad de usuarios que aprovechan estos servicios de IA también sigue aumentando. Y con la introducción del escalamiento del tiempo de inferencia, un nuevo paradigma para escalar la inteligencia de los modelos, se están aplicando más cálculos durante la inferencia para mejorar el rendimiento de los modelos.  Estas tendencias significan que es importante seguir mejorando el rendimiento de la inferencia entregada, incluso en la misma plataforma de hardware subyacente. Al combinar métodos establecidos como el paralelismo de modelos, el entrenamiento de precisión mixta, la poda, la cuantificación y la optimización del preprocesamiento de datos con avances de vanguardia en tecnologías de inferencia, los desarrolladores pueden lograr ganancias notables en velocidad, escalabilidad y rentabilidad. La biblioteca TensorRT-LLM incorpora muchas características de última generación que aceleran el rendimiento de inferencia para modelos de lenguaje grandes (LLM) , que se describen a continuación. Optimizaciones de caché de KV y precarga Optimización de la decodificación Inferencia de múltiples GPU Cuantificación y cálculo de menor precisión  Con estas características, así como muchas otras de Triton y TensorRT-LLM, los desarrolladores ahora pueden implementar LLM que no solo sean más rápidos y eficientes, sino que también sean capaces de gestionar una gama más amplia de tareas y demandas de los usuarios. Esto abre nuevas oportunidades para que las empresas mejoren el servicio al cliente, automaticen procesos complejos y obtengan información más detallada de sus datos.  Evaluación del rendimiento de la inferencia  Para ofrecer un rendimiento de inferencia de primer nivel se necesita un conjunto completo de tecnología (chips, sistemas y software), todo lo cual contribuye a aumentar el rendimiento, reducir el consumo de energía por token y minimizar los costos.  MLPerf Inference es una medida clave del rendimiento de inferencia. El punto de referencia mide el rendimiento de inferencia en condiciones estandarizadas y los resultados están sujetos a una revisión exhaustiva por pares. El punto de referencia se actualiza periódicamente para reflejar los nuevos avances en IA, lo que garantiza que las organizaciones puedan confiar en estos resultados para evaluar el rendimiento de la plataforma. En la última ronda de MLPerf Inference, NVIDIA Blackwell hizo su debut , ofreciendo hasta 4 veces más rendimiento que la GPU NVIDIA H100 Tensor Core en el benchmark Llama 2 70B. Este logro fue el resultado de las numerosas innovaciones arquitectónicas en el corazón de la GPU Blackwell, incluido el Transformer Engine de segunda generación con núcleos Tensor FP4 y memoria GPU HBM3e ultrarrápida que ofrece 8 TB/s de ancho de banda de memoria por GPU.  Además, muchos aspectos de la pila de software NVIDIA, incluido NVIDIA TensorRT-LLM, se rediseñaron para aprovechar las nuevas capacidades de Blackwell, como el soporte para la precisión FP4, al mismo tiempo que se sigue cumpliendo el riguroso objetivo de precisión del punto de referencia.  La GPU NVIDIA H200 Tensor Core, disponible ahora a través de los fabricantes de servidores y proveedores de servicios en la nube, también logró resultados sobresalientes en cada prueba comparativa en la categoría de centros de datos. Esto incluye la nueva prueba Mixtral 8x7B de mezcla de expertos (MoE) LLM, así como en las pruebas de texto a imagen Llama 2 70B LLM y Stable Diffusion XL. Como resultado de las mejoras de software continuas, la arquitectura Hopper brindó hasta un 27 % más de rendimiento de inferencia en comparación con la ronda anterior.  NVIDIA Triton Inference Server, que se ejecuta en un sistema con ocho GPU H200, logró un rendimiento prácticamente idéntico en comparación con la presentación de NVIDIA sin sistema operativo en el benchmark Llama 2 70B en MLPerf Inference v4.1. Esto demuestra que las empresas ya no necesitan elegir entre un servidor de inferencia de IA de nivel de producción con muchas funciones y un rendimiento de procesamiento máximo: ambos se pueden lograr simultáneamente con NVIDIA Triton. El futuro de la inferencia de

 Los investigadores de NVIDIA han desarrollado una nueva tecnología llamada compresión de memoria dinámica (DMC) que puede aumentar enormemente la eficiencia de la implementación de LLM y ampliar sus horizontes a secuencias más largas sin quedarse sin memoria.  A pesar del éxito de los modelos de lenguaje de gran tamaño (LLM) como herramientas de IA de propósito general, su alta demanda de recursos computacionales hace que su implementación sea un desafío en muchos escenarios del mundo real. Los tamaños del modelo y el estado de la conversación están limitados por la memoria de gran ancho de banda disponible, lo que limita la cantidad de usuarios que pueden ser atendidos y la duración máxima de la conversación. En la actualidad, las dos arquitecturas LLM más populares son los transformadores y los modelos de espacio de estados selectivos (SSM), que se encuentran en los extremos opuestos de un espectro:  Para ello, los investigadores de NVIDIA han desarrollado una nueva tecnología llamada compresión de memoria dinámica (DMC) que puede aumentar enormemente la eficiencia de la implementación de LLM y ampliar sus horizontes a secuencias más largas sin quedarse sin memoria.  DMC abre una tercera vía, en la que se puede entrenar un modelo Transformer para comprimir de forma adaptativa el estado de la conversación y lograr una tasa de compresión deseada. Esto permite una reducción significativa del tamaño del estado de la conversación sin reemplazar la arquitectura Transformer habitual. DMC no requiere entrenamiento desde cero, ya que los modelos existentes se pueden adaptar mediante una cantidad insignificante de entrenamiento adicional, lo que es más confiable que los métodos de entrenamiento sin errores propensos a errores. ¿Qué afecta el rendimiento de la inferencia LLM?  La inferencia LLM consta de dos fases:  Durante la generación, para realizar la autoatención, los transformadores agregan un par de representaciones (par clave-valor o KVP) para cada token a una memoria caché. Se almacena un KVP diferente para cada capa y cada cabezal de atención.  Como resultado, la caché KVP crece proporcionalmente a la longitud de la secuencia. Como la caché KVP debe caber en la memoria de la GPU junto con los pesos LLM, puede ocupar una parte significativa de ella o incluso agotarla. Además, cuanto mayor sea el tamaño de la caché de KVP, más tiempo llevará ejecutar un único paso de inferencia. Esto se debe a que el cálculo de las puntuaciones de atención es una operación limitada a la memoria. Cada consulta tiene su propia caché de KVP que se debe cargar.  La situación es diferente para las proyecciones lineales en capas de atención o FFN, donde cada matriz de peso debe cargarse en SRAM desde HBM una vez para todas las consultas, si la GPU está trabajando en muchas consultas al mismo tiempo en paralelo. En investigaciones anteriores se intentó reducir el tamaño de la caché de KVP cuantificando sus representaciones, compartiendo los puntos de atención o eliminando tokens de ella. Sin embargo, estos métodos degradan el rendimiento original porque eliminan información de la memoria sin alterar el comportamiento original de LLM. Compresión de memoria dinámica La compresión de memoria dinámica (DMC) es una forma sencilla de comprimir la caché KV durante la inferencia sin incurrir en una caída del rendimiento. El modelo decide por separado para cada token, capa y núcleo si el nuevo par de clave y valor se debe agregar a la caché KV, como es habitual en Transformer simple, o acumularse en el último, utilizando la siguiente ecuación: Esta ecuación, que se encuentra en el corazón de DMC, transforma una subsecuencia de claves en una suma de prefijo particular, que recuerda a SSM populares como xLSTM o RWKV.  Durante la inferencia, los valores de alfa son estrictamente binarios. Cuando , los tokens se suman en el lugar sin extender la caché KVP, para el comportamiento de compresión. La frecuencia de las decisiones de promediado determina la tasa de compresión de DMC. En un modelo simple, la caché se amplía con un KVP a la vez. Con DMC, una variable de decisión determina si se debe ampliar la caché o si el nuevo par se debe fusionar con el último en la caché de KVP. Un componente crucial del DMC es el proceso de modernización , que enseña a los LLM este comportamiento: La decisión de añadir o fusionar es discreta. Para entrenar LLM con descenso de gradiente, se realiza una relajación continua de esta decisión a través de la distribución Gumbel-Sigmoid, lo que da como resultado elementos de memoria parcialmente añadidos y parcialmente fusionados durante el entrenamiento.  Para simular el DMC en tiempo de inferencia (Figura 2), donde los tokens no pueden asistir a etapas intermedias de fusión, se aumenta la máscara causal de los Transformadores para evitar cada vez más el acceso a esos estados. En general, este procedimiento le permite evitar picos de perplejidad durante el preentrenamiento continuo. De hecho, descubrimos que enfoques como el de atención a consultas generales (GQA) , que modifican significativamente la arquitectura del modelo antes del preentrenamiento continuo, tienen dificultades para recuperar el rendimiento original. Resultados DMC logra un rendimiento comparable con los modelos vanilla para todas las aplicaciones posteriores que evaluamos, incluidas la factualidad ( MMLU ), la respuesta a preguntas con sentido común y la codificación ( HumanEval ).  Fundamentalmente, DMC se puede combinar con otros métodos para la reducción de caché KVP, como la cuantificación y GQA. Tasa de compresión DMC MMLU (factibilidad) Control de calidad basado en el sentido común HumanEval (codificación) Llama-2-7B 1x 44.6 70.5 14.0 Llama-2-7B 4x 44.2 70.2 16.5 Llama-2-7B 8x 41.8 70.1 16.5 Llama-2-13B 1x 54.5 73.5 17.5 Llama-2-13B 4x 54.2 73.2 22.0 Llama-2-13B 8x 52.1 73.3 21.3 Llama-2-70B + AGC 8x 68.8 78.0 29.6 Llama-2-70B+ AGC 16x 68.8 77,9 29.9 Tabla 1. Precisión de la tarea posterior durante la inferencia de modelos vainilla (tasa de compresión 1x) y modelos habilitados para DMC Llama-2-7B + DMC 4x Llama-2-7B + DMC 4x(cuantificación de 8 bits) Llama-2-7B + DMC 8x L lama-2-7B + DMC 8x(cuantificación de 8 bits) MMLU (factibilidad) 44.2 44.6 41.8 41.7 Tabla 2. Puntuaciones MMLU de modelos habilitados para DMC con cuantificación FP8 aplicada a pesos,