Chubut Digital

Cuando los investigadores construyen modelos de lenguaje grandes (LLM), buscan maximizar el rendimiento con un presupuesto computacional y financiero específico. Dado que el entrenamiento de un modelo puede costar millones de dólares, los desarrolladores deben ser prudentes al tomar decisiones que impactan el costo, por ejemplo, en la arquitectura del modelo, los optimizadores y los conjuntos de datos de entrenamiento, antes de comprometerse con un modelo. Para anticipar la calidad y precisión de las predicciones de un modelo grande, los profesionales suelen recurrir a leyes de escala: utilizan modelos más pequeños y económicos para intentar aproximarse al rendimiento de un modelo objetivo mucho más grande. Sin embargo, el desafío radica en que existen miles de maneras de crear una ley de escala.