Chubut Digital

La biblioteca de comunicaciones colectivas de NVIDIA (NCCL) implementa primitivas de comunicación multi-GPU y multinodo optimizadas para redes y GPU NVIDIA.  NCCL es una pieza central de software para el entrenamiento de aprendizaje profundo multi-GPU. Maneja cualquier tipo de comunicación entre GPU, ya sea a través de PCI, NVLink o redes. Utiliza detección de topología avanzada, gráficos de comunicación optimizados y modelos de ajuste para obtener el mejor rendimiento desde el primer momento en las plataformas de GPU NVIDIA. En esta publicación, analizamos las nuevas funciones y correcciones lanzadas en NCCL 2.23. Consulta el repositorio de GitHub de NVIDIA/nccl .  Aspectos destacados y características del lanzamiento  NVIDIA Magnum IO NCCL es una biblioteca diseñada para optimizar la comunicación entre GPU y multinodo, algo fundamental para la computación paralela eficiente en aplicaciones de IA y computación de alto rendimiento (HPC). El valor de esta versión radica en sus nuevas características:  Las siguientes secciones profundizan en los detalles de las nuevas funciones:  Escala logarítmica PAT para ReduceScatter y AllGather  El algoritmo PAT es una variación del algoritmo Bruck, que presenta una cantidad logarítmica de pasos de red para tamaños pequeños a escala, aumentando progresivamente la cantidad de transferencias de red a medida que aumentan los tamaños, para mantener las necesidades de almacenamiento en búfer al mínimo. Se aplica tanto a AllGather como a ReduceScatter. Puede esperar que los tamaños de mensajes pequeños a medianos tengan un mejor rendimiento con PAT, y esta mejora aumentará a medida que su carga de trabajo se amplíe.  Este algoritmo ejecuta un árbol binomial desplazado para cada rango. Su ventaja en comparación con algoritmos similares como la duplicación recursiva es que funciona en cualquier número de rangos y no requiere una potencia de dos.  Inicialmente, PAT solo admite una GPU por nodo. El caso de una GPU por nodo ReduceScatter y AllGather es importante para el entrenamiento de modelos de lenguaje grandes (LLM) , donde el paralelismo de tuberías y el paralelismo de tensores se encuentran en dimensiones ortogonales al paralelismo de datos. La dimensión de paralelismo de tensores generalmente está alineada con la conectividad NVLink intranodo, lo que significa que otras dimensiones solo tendrán una GPU por nodo.  Busque nuestro próximo artículo que describe los detalles del algoritmo. Nueva ncclCommInitRankScalableAPI  Esta característica agrega una nueva función de inicialización, ncclCommInitRankScalable, para permitir el uso de múltiples identificadores únicos durante la creación del comunicador. Esta incorporación evita los patrones de comunicación de todos a uno durante la inicialización y proporciona un rendimiento de inicialización más escalable.  En la creación del comunicador, NCCL necesita obtener las direcciones de todos los rangos del comunicador (paso de arranque). Para ello, NCCL se basa en un identificador único conocido por todos los rangos. Durante el paso de arranque de la inicialización del comunicador, cada rango intercambia su dirección con el identificador único conocido, lo que crea un patrón de comunicación de todos a uno y un importante cuello de botella a escala.  Con ncclCommInitRankScalable, el usuario ahora tiene la libertad de proporcionar más de una identificación única para usar durante el arranque. Para lograr la mayor ganancia, NCCL distribuirá la carga entre múltiples identificaciones únicas, lo que permitirá un tiempo de arranque constante a escala, si la cantidad de identificaciones únicas proporcionadas se ajusta al tamaño del comunicador.  Esta nueva API requiere varios rangos para crear un ID único. Para obtener el mejor rendimiento, recomendamos distribuir los ID únicos de la forma más homogénea posible entre los rangos.  Operaciones de arranque aceleradas En la versión 2.23, mejoramos el rendimiento general del código de inicialización. Eliminamos algunos de los colectivos de arranque necesarios, así como también realizamos ajustes de rendimiento en el paso de arranque.  Ahora puede utilizar la red rápida (IB/RoCE/…) para la comunicación fuera de banda a fin de acelerar los dos pasos lineales de la inicialización, bootstrap y allgather. Esta función está deshabilitada de manera predeterminada para evitar el uso de dispositivos configurados incorrectamente (el uso de ncclNetdispositivos ocurre antes de la detección de topología). Puede habilitarla con NCCL_OOB_NET_ENABLE=1.  Además, puede especificar qué interfaz se debe utilizar con NCCL_OOB_NET_IFNAME. De manera predeterminada, NCCL utilizará el primer ncclNetdispositivo que encuentre en esa red. Registro de búfer de usuario intranodo  NCCL nunca requiere que usted, como usuario, registre y mantenga ningún búfer persistente para funcionar. Esta es una característica excelente para facilitar la usabilidad, pero conlleva desventajas en el rendimiento. Sin acceso directo, debe haber más flujo de control y almacenamiento en búfer cuando NCCL transfiere datos. Esto consume más recursos de la GPU y genera mayores gastos generales para mover la misma cantidad de datos en comparación con los búferes registrados y mapeados explícitamente. Siempre que sea posible, se recomienda a los desarrolladores de NCCL que registren sus buffers ncclCommRegisterpara permitir que NCCL utilice todas las optimizaciones disponibles. El equipo de NCCL siempre está trabajando para agregar más casos de uso para buffers de usuario registrados. La versión 2.23 implementa soporte de registro de buffer de usuario (UB) intranodo para transportes P2P NvLink y PCIe. El principal beneficio del registro de UB intranodo es evitar copias adicionales entre pares. Esto reduce la presión sobre el subsistema de memoria, mejora el rendimiento de la comunicación NCCL y también mejora la superposición de computación y comunicación. Se admiten todos los colectivos NCCL y las operaciones basadas en sendrecv, excepto ncclReducey ncclReduceScatter(no se beneficiarían).  Hay dos formas de habilitar el registro de UB dentro de un nodo. La primera es registrar los buffers de ncclCommRegisterforma explícita, y los buffers se registrarán solo cuando se llamen a los colectivos NCCL correspondientes. La segunda es capturar operaciones NCCL a través de CUDA Graphs, y todos los buffers de usuario se registrarán automáticamente durante la captura del gráfico. Para obtener más pautas y requisitos, consulte la documentación de NCCL .  Además de la comunicación entre nodos a través de NVLink y PCIe, la función funciona en sistemas NVLink multinodo (MNNVL) dentro de cada dominio NVLink. Nueva API del complemento de creación de perfiles  A medida que aumenta la escala de los clústeres de GPU, las anomalías de rendimiento se vuelven más difíciles de detectar y de

La biblioteca de redes neuronales profundas NVIDIA CUDA (cuDNN) es una biblioteca de primitivas acelerada por GPU para redes neuronales profundas.  Proporciona implementaciones altamente optimizadas de operaciones que surgen con frecuencia en aplicaciones de redes neuronales profundas (DNN): Además de proporcionar implementaciones de alto rendimiento de operaciones individuales, cuDNN también admite un conjunto flexible de patrones de fusión de múltiples operaciones para una mayor optimización. El objetivo es lograr el mejor rendimiento disponible en las GPU NVIDIA para casos de uso importantes de aprendizaje profundo. En cuDNN, tanto los cálculos de una sola operación como los de múltiples operaciones se expresan como gráficos de operaciones. Las siguientes capas de API están disponibles para construir estos gráficos: La API de interfaz de usuario de NVIDIA cuDNN proporciona un modelo de programación simplificado que es suficiente para la mayoría de los casos de uso. Utilice la API de back-end de NVIDIA cuDNN solo si desea utilizar las rutinas de función fija heredadas que no son interfaces basadas en gráficos y no están expuestas por las capas de API de front-end, o si necesita una interfaz solo de C. NVIDIA Blog. Traducido al español