Categoría: Big Data y Analítica Avanzada

A medida que los tamaños de los datos han crecido en empresas de todas las industrias, Parquet Apache se ha convertido en un formato prominente para almacenar datos.  Apache Parquet es un formato de almacenamiento columnar diseñado para un procesamiento de datos eficiente a escala. Al organizar los datos por columnas en lugar de filas, Parquet permite consultas y análisis de alto rendimiento, ya que solo puede leer las columnas necesarias para una consulta en lugar de escanear filas completas de datos. El diseño de datos eficiente de Parquet, lo ha convertido en una opción popular en el ecosistema de análisis moderno, específicamente con las cargas de trabajo de Apache Spark. El RAPIDS Accelerator para Apache Spark construido sobre cuDF admite Parquet como formato de datos para leer y escribir datos de manera acelerada en GPU. Para muchas cargas de trabajo de Spark a gran escala donde los tamaños de entrada de datos están en terabytes, tener escaneos de parquet eficientes es fundamental para lograr un buen rendimiento en tiempo de ejecución. En esta publicación, discutimos cómo mitigar las limitaciones de ocupación causadas por usos de registro más altos y compartir resultados de referencia.  Formato de datos de parquet Apache El formato de archivo Parquet permite almacenar los datos en formato columnar utilizando trozos de columna ensamblados en grupos de filas. Los metadatos son distintos de los datos para permitir la división de columnas en varios archivos según sea necesario (Figura 1). El formato Parquet admite una variedad de tipos de datos. Los metadatos especifican cómo deben interpretarse estos tipos, lo que permite que estos tipos representen tipos lógicos más complejos, como marcas de tiempo, cadenas, decimales, etc.  También puede usar metadatos para especificar estructuras más complejas, como tipos anidados y listas. Los datos se pueden codificar en una variedad de formatos diferentes, como valores simples, diccionarios, codificación de longitud de ejecución, empaque de bits y más. – BOOLEAN: 1 bit boolean- INT32: 32 bit signed ints- INT64: 64 bit signed ints- INT96: 96 bit signed ints- FLOAT: IEEE 32-bit floating point values- DOUBLE: IEEE 64-bit floating point values- BYTE_ARRAY: arbitrarily long byte arrays- FIXED_LEN_BYTE_ARRAY: fixed length byte arrays Parquet sobre limitaciones de ocupación de GPU Antes de la RAPIDS Accelerator para Apache Spark, la implementación anterior de los escaneos de parquet fue un núcleo cuDF monolítico que admitía todos los tipos de columnas de parquet en un solo conjunto de código de procesamiento.  A medida que la adopción de Spark en GPU aumentó para los clientes con datos de Parquet, se invirtió más tiempo en comprender las características de rendimiento de los escaneos de Parquet dado el componente crítico del rendimiento que representaba. Hay varios recursos generales que tienen en cuenta la eficiencia con la que un kernel puede operar: A medida que analizamos los escaneos de parquet, observamos que la ocupación general de la GPU era menor de lo deseado debido a los límites de registro. El uso del registro está determinado por cómo el compilador CUDA genera código basado en la lógica del kernel más la gestión de datos.  Para el núcleo monolítico de Parquet, la complejidad para admitir todos los tipos de columnas creó un núcleo grande y complejo con alta memoria compartida y uso de registro. Si bien un solo núcleo monolítico puede haber consolidado el código juntos, su complejidad limitó los posibles tipos de optimizaciones y dio como resultado limitaciones de rendimiento a escala.  La Figura 2 representa el bucle de procesamiento de datos de Parquet en la GPU. Cada uno de los bloques es una cantidad grande y compleja de código del kernel, que puede tener sus propios requisitos de memoria compartida. Muchos de los bloques dependen del tipo, lo que conduce a un núcleo hinchado cargado en la memoria. Específicamente, una de las limitaciones era cómo se decodificaban los bloques de parquet dentro de las urdimbres. Había una dependencia en serie para que las urdimbres esperaran a que las urdimbres ordenadas previamente se completaran antes de procesar sus bloques de datos. Esto permitió que diferentes partes del proceso de decodificación ocurrieran en diferentes deformaciones, pero creó una dependencia ineficiente para el trabajo que se realizará en la GPU.  Pasar a un algoritmo de decodificación de todo el bloque fue crítico para el rendimiento, pero habría aumentado el recuento de registros y la ocupación limitada aún más debido a su intercambio de datos agregado y la complejidad de sincronización.  Microkernels de parquet en cuDF Para mitigar las limitaciones de ocupación causadas por usos de registro más altos, probamos una idea inicial de un núcleo más pequeño para preprocesar datos de tipo de lista en Parquet. Separamos un fragmento de código del núcleo monolítico en un núcleo autónomo y los resultados fueron impresionantes. Los puntos de referencia generales mostraron tiempos de ejecución más rápidos y los rastros de GPU demostraron una mejor ocupación. Después de eso, probamos el mismo enfoque para diferentes tipos de columnas. Los microkernels para varios tipos utilizaron plantillas C++ para reutilizar las capacidades. Esto simplificó el código para el mantenimiento y la depuración por tipo. El enfoque de microkernel de Parquet aprovecha la optimización del tiempo de compilación para pasar solo por las rutas de código necesarias para procesar un tipo determinado. En lugar de un núcleo monolítico que contiene todas las rutas de código posibles, puede generar muchos microkernels individuales que contienen solo el código necesario para esa ruta.  Esto se puede hacer usando if constexpr en el momento de la compilación, de modo que el código se lea normalmente, pero no incluya ninguna ruta de código que nunca se tome para una combinación particular de atributos de datos (cadenas o ancho fijo, listas o listas no, etc.). Aquí hay un ejemplo simple para procesar columnas de tipo de ancho fijo. Puede ver que la mayoría del procesamiento no es necesario y se omite en el nuevo enfoque de microkernel. Solo se necesita la copia de datos para este tipo. Para resolver el cuello de botella entre las deformaciones, los nuevos microkernels permitieron procesar bloques enteros en cada

En la Huawei China Partner Conference 2025, Huawei lanzó su solución Xingmai Passive Ethernet Network (PEN) de próxima generación con cuatro características destacadas: 10GE exclusivo, arquitectura unificada, seguridad robusta y operaciones y mantenimiento inteligentes (O&M). Esta solución a prueba de futuro es ideal para industrias que buscan una base de red sólida y confiable para acelerar la transformación digital e inteligente. A medida que los terminales de IA y las aplicaciones de IA se generalizan, las empresas de todos los tamaños están acelerando su viaje digital e inteligente. En este proceso, las empresas están buscando nuevas soluciones de red para un mayor ancho de banda y una O&M más fácil, y también persiguen una red de campus a prueba de futuro que se puede actualizar rápidamente para la escalabilidad del servicio. Las soluciones de red óptica pasiva convencionales no pueden satisfacer tales necesidades. Ahí es donde entra la solución Xingmai PEN de Huawei. Al eliminar la necesidad de división óptica, la solución Xingmai PEN de Huawei logra 10GE totalmente óptico en la sala, ancho de banda simétrico de enlace ascendente y enlace descendente, y una evolución suave a 800GE en el futuro. Además, la solución Xingmai PEN de Huawei utiliza el protocolo Ethernet en toda la red para evitar la conversión del protocolo, simplificando la administración en un O& unificadoPlataforma M y reducción de los costos de O&M en toda la red. Estos rasgos hacen que la solución de Huawei sea ideal para escenarios con salas densas en industrias como la educación y la atención médica. La solución Xingmai PEN de Huawei es una excelente opción para que todas las industrias aceleren su viaje digital e inteligente al ofrecer cuatro características convincentes de la siguiente manera: 10GE Exclusivo para garantizar el ancho de banda: En la solución de Huawei, el interruptor central PEN proporciona un ancho de banda central de 160GE, que es el doble del promedio de la industria. Un solo dispositivo puede escalar para proporcionar 96 puertos 10GE, lo que permite 10GE totalmente óptico a la habitación. Este alto rendimiento ayuda a crear un entorno de red de oficina, enseñanza e investigación de alta velocidad y sin problemas. arquitectura unificada para redes pasivas simplificadas: Se construye una arquitectura de red unificada basada en protocolos Ethernet maduros, reduciendo los requisitos de habilidades técnicas y eliminando la necesidad de reaprendizaje por parte del personal de O&M. Además, el diseño de red pasiva está libre de habitaciones de voltaje extra bajo (ELV), eliminando radicalmente los riesgos de incendio. seguridad robusta y ahorro de energía: Se utilizan múltiples algoritmos de autenticación y mecanismos de protección de confiabilidad para evitar suplantación de identidad y acceso no autorizado y detectar y localizar rápidamente fallas en los módulos ópticos en segundos. Todos estos protegen la seguridad de la red del campus. Además, una unidad remota (RU) consume menos de 1 W de potencia por puerto. Esta capacidad de eficiencia energética, combinada con algoritmos dinámicos de ahorro de energía, ahorra más del 30% de la energía de la red, logrando resultados ecológicos y bajos en carbono. & M inteligente para operaciones simplificadas: Las RU son plug-and-play y gestionadas centralmente, reduciendo el número de nodos administrados en un 80%. El mapa digital de la red permite la configuración automática de la red del campus con un solo clic y facilita una optimización precisa en escenarios específicos, mejorando en gran medida la entrega y la eficiencia de O&M de socios y clientes. Más allá de esto, O&M impulsado por IA permite a una persona administrar un campus con más de 10,000 usuarios. «La ola digital e inteligente está barriendo industrias en todo el mundo. Una base de red de alta calidad se ha convertido en un motor clave para la transformación y actualización empresarial. En este contexto, es imperativo actualizar las redes de campus empresariales para potenciar sus actualizaciones digitales e inteligentes e inspirar más innovación para el futuro», dijo Chen Zhiwei, Vicepresidente del Dominio de Red de Campus de la Línea de Productos de Comunicación de Datos de Huawei. «La solución Xingmai PEN de Huawei satisface esta necesidad al combinar las ventajas de las tecnologías Ethernet probadas en campo y la arquitectura óptica pasiva. Con características sobresalientes como arquitectura unificada, 10GE exclusivo y ahorro de energía, la innovadora solución de Huawei ayuda a los clientes en educación, atención médica yy otras industrias para marcar el comienzo de una nueva generación de redes de campus Ethernet de alta calidad. « A medida que las tecnologías de comunicación de datos avanzan día a día, la actualización digital e inteligente se ha vuelto inevitable en todas las industrias. De cara al futuro, Huawei continuará sumergiéndose profundamente y potenciando la actualización digital e inteligente de todas las industrias a través de soluciones de red innovadoras. Huawei también colaborará aún más con clientes y socios en todo el mundo para construir redes de campus de 10 Gbps de alta calidad a escala. Huawei News. Traducido al español