¿Un LLM cuyos pesos y código de inferencia se publican es de “código abierto”? La pregunta surge (nuevamente) con el que está detrás del asistente de Grok.
Abierto, pero ¿a qué distancia? Esta pregunta nos la hicimos el pasado mes de septiembre, cuando Mistral AI publicó su primer LLM. En el menú, pesos y código de inferencia bajo licencia Apache… pero no los datos de entrenamiento.
xAI siguió el mismo camino con Grok-1. Sin embargo, en comparación con el Mistral 7B, el modelo se entrega en un estado «anterior» del ciclo de conducción. En este caso, como lo fue en octubre de 2023 antes de cualquier mejora en habilidades específicas de tipo diálogo. Así que este no es el que sustenta actualmente al Asistente de Grok .
En primer lugar, había un prototipo con 33 mil millones de parámetros: Grok-0, desarrollado durante el verano de 2023 y que xAI había hecho oficial a principios de noviembre. Las mejoras en codificación y razonamiento llevaron a Grok-1, explicó la empresa.
Lo vemos hoy: también ha habido avances en la arquitectura. xAI ha cambiado a MoE (Mixture-of-Experts): modelos especializados coexisten y se activan según las solicitudes. No reducir la huella de memoria reduce la cantidad de recursos informáticos necesarios.
Compuesto por ocho modelos, Grok-1 parece enorme ( 314 mil millones de parámetros en FP8 nativo; 318 GB ). Sin embargo, los modelos sólo funcionan en pares, nunca hay más de 86 mil millones de parámetros activos.
Una denuncia contra OpenAI
Poco antes de publicar los pesos de Grok-1, Elon Musk presentó una demanda contra OpenAI en California. El interesado acusa a la empresa de no haber respetado sus compromisos con sus patrocinadores iniciales. Él formó parte de ello… y finalmente se distanció en 2018. Una decisión derivada, según él, del rechazo de la promesa de desarrollar modelos abiertos.
OpenAI no tiene la misma versión. Según su equipo directivo, Elon Musk abandonó el barco después de no poder tomar el control del mismo y luego fusionarlo con Tesla. Las discusiones en este sentido tuvieron lugar después de que OpenAI decidiera crear una empresa con fines de lucro, al darse cuenta de que desarrollar inteligencia artificial general requeriría más recursos de los imaginados. Fuente NetMedia Francia(BC), traducido al español
Ilustración © artinspired – Adobe Stock
Contacto