Un conjunto en constante evolución de pruebas de IA en el mundo real empuja a los expertos de Intel a aumentar el rendimiento, nivelar el campo de juego y hacer que la IA sea más accesible para todos.
MLPerf es el conjunto de puntos de referencia de IA de los que has oído hablar, pero es posible que no (todavía) comprendas por completo.
Si bien no pude encontrar una definición inequívoca de la palabra en sí misma –, se analogizó como “SPEC para ML” en su mayo de 2018 debut público – mi práctico asistente de IA tiene una respuesta segura. Se lee: “El nombre ‘MLPerf’ es un acrónimo derivado de ‘ML’ para el aprendizaje automático y ‘Perf’ para el rendimiento.”
Tiene más que decir: “Si bien no hay una historia pública detallada sobre el proceso de nombramiento, el nombre en sí es bastante descriptivo y probablemente fue elegido por su representación directa del propósito de benchmarks’ (Solo el tipo de respuesta de apoyo que esperarías de una IA construida y refinada por investigadores de IA)
Los resultados reales ilustran el punto: Solo la semana pasada», Intel continuó su ejecución como el único proveedor que envió los resultados de la CPU del servidor a MLPerf. Estos incluyeron el rendimiento de tareas comunes de IA como inspección de imágenes y análisis de información utilizando procesadores Intel® Xeon® 6.
Las Personas y Procesos Detrás de los Playoffs de IA
“MLPerf es el punto de referencia No. 1 para la IA en este momento,” dice Ramesh Chukka, quien trabaja en el Centro de datos Intelligs y el grupo de software de IA.
un hombre con el pelo corto y oscuro, barba y gafas con una camisa estilo polo, mira a la cámara
Ramesh Chukka es gerente de ingeniería de software de IA en el Centro de Datos de Intel y el grupo de software de IA y miembro de la junta del consorcio MLCommons.
Chukka representa a Intel en la junta de MLCommons, un consorcio que se formó a finales de 2020 para expandir el esfuerzo inicial de MLPerf para “avanzar en el desarrollo y acceso a los últimos conjuntos de datos y modelos de IA y aprendizaje automático, mejores prácticas, puntos de referencia y métricas.”
MLPerf se refiere a todos los puntos de referencia, que “evolucionan bastante rápido, como lo hace la tecnología,” Chukka dice, cumpliendo esa misión para avanzar en el campo con “creación rápida de prototipos de nuevas técnicas de IA.” Cada punto de referencia mide qué tan rápido se puede completar un trabajo de IA en particular – dado un nivel establecido de calidad –.
Los puntos de referencia se dividen en dos categorías principales: capacitación, donde los modelos de IA se construyen utilizando datos; e inferencia, donde los modelos de IA se ejecutan como aplicaciones. Para enmarcarlo con un modelo de lenguaje grande, también conocido como LLM: El entrenamiento es donde el LLM aprende de un corpus de información, y la inferencia ocurre cada vez que le pides que haga algo por ti.
MLCommons publica dos conjuntos de resultados de referencia al año para cada una de las dos categorías. Por ejemplo, Intel compartió más recientemente resultados de la formación en junio pasado y resultados de inferencia este mes.
Los expertos de Intel AI han contribuido a MLPerf (y por lo tanto MLCommons) desde el primer día. La participación de Intel siempre ha sido doble: ayudar a dar forma y evolucionar todo el esfuerzo, al tiempo que compila y aporta resultados de referencia utilizando procesadores, aceleradores y soluciones Intel.
Los Problemas MLPerf Benchmarks Resuelven
Los modelos de IA son programas complicados, y una amplia y creciente variedad de computadoras pueden ejecutarlos. Los puntos de referencia de MLPerf están diseñados para permitir mejores comparaciones de esas computadoras al tiempo que empujan a los investigadores y las empresas a promover el estado de la técnica.
Cada punto de referencia está destinado a ser lo más representativo posible del mundo real, y los resultados aterrizan en una de dos divisiones. La división “closed” controla el modelo AI y la pila de software para proporcionar las mejores comparaciones posibles de hardware a hardware. En otras palabras, cada sistema diferente utiliza la misma aplicación para lograr el mismo resultado (por ejemplo, una medida de precisión para el procesamiento del lenguaje natural).
La división “open” permite la innovación — cada sistema logra el mismo resultado deseado, pero puede empujar el sobre de rendimiento en la medida de lo posible, sin embargo.
Lo que es admirable de MLPerf es que todo es compartido y los puntos de referencia son de código abierto. Los resultados deben ser reproducibles — ningún misterio puede permanecer. Esta apertura permite comparaciones más dinámicas más allá de la velocidad bruta lado a lado, como el rendimiento por potencia o el costo.
Cómo Funciona y Evoluciona MLPerf
Como mencionó Chukka, MLPerf conserva su prominencia en parte al evolucionar continuamente y agregar nuevos puntos de referencia. La forma en que ocurre ese proceso es en gran medida a través del debate abierto y la discusión entre la comunidad MLCommons, que abarca grandes empresas, nuevas empresas y la academia.
Se proponen y debaten nuevos puntos de referencia, y luego los aprobados necesitan un conjunto de datos abierto para la capacitación — que puede existir o no. Los colaboradores se ofrecen como voluntarios para formar un equipo y construir el punto de referencia, identificar o recopilar datos, y establecer un cronograma para el lanzamiento de las evaluaciones comparativas.
Cualquier empresa que quiera publicar resultados debe cumplir con una fecha límite para el próximo lanzamiento. Si se lo pierden, esperan la siguiente ronda.
Lo que el Mundo Obtiene de una IA Más Rápida y Eficiente
Si bien tener más personas en el mundo resolviendo más problemas usando semiconductores tiene un beneficio obvio para Intel (sin mencionar más grist para la fábrica de ventas y marketing), hay otros beneficios para la participación de Intel en MLPerf.
Intel siempre está contribuyendo a marcos de código abierto para IA, como PyTorch y extensiones a la misma. A medida que los ingenieros de Intel realizan mejoras en ese código a través de su trabajo para acelerar los resultados de MLPerf, todos los que ejecutan esos tipos de IA en chips Intel obtienen esas mejoras sin levantar un dedo.
“Para nuevos puntos de referencia, siempre buscamos las optimizaciones que podemos hacer,” Chukka dice, “y seguimos buscando el próximo par de presentaciones.”
El equipo de Chukkaaka atrae a ayudantes de toda la compañía para construir y mejorar los resultados de Intel, a veces logrando mejoras dramáticas de ronda en ronda (como una mejora del 80% en un resultado de inferencia de recomendación en 2024 y una ganancia del 22% en el punto de referencia GPT-J este mes).
Por lo tanto, cada vez que escuche que Intel ha publicado una nueva ronda de resultados de MLPerf, puede deleitarse con que todo tipo de sistemas de IA se hayan vuelto más rápidos y eficientes. Tal vez incluso su LLM favorito, que le da respuestas más rápidas y más inteligentes con cada nuevo mensaje.
Jeremy Schultz es escritor y editor del Equipo de Comunicaciones y Eventos Globales de Intel.
El rendimiento varía según el uso, la configuración y otros factores. Obtenga más información en www.Intel.com/PerformanceIndex.
Los resultados de rendimiento se basan en pruebas a partir de las fechas mostradas en las configuraciones y pueden no reflejar todas las actualizaciones disponibles públicamente. Visita MLCommons para más detalles. Ningún producto o componente puede ser absolutamente seguro.
Intel News. Traducido al español
Contacto