La EPFL, la ETH de Zúrich y el Centro Nacional Suizo de Supercomputación (CSCS) lanzaron hoy Apertus, el primer modelo lingüístico multilingüe, abierto y a gran escala de Suiza: un hito en la IA generativa para la transparencia y la diversidad.
En julio, la EPFL, la ETH de Zúrich y el CSCS anunciaron su iniciativa conjunta para crear un modelo lingüístico extenso (LLM) . Este modelo ya está disponible y sirve como base para desarrolladores y organizaciones en futuras aplicaciones como chatbots, sistemas de traducción o herramientas educativas.
El modelo se llama Apertus (que en latín significa “abierto”), lo que resalta su característica distintiva: todo el proceso de desarrollo, incluida su arquitectura, los pesos del modelo y los datos de entrenamiento y recetas, es de acceso abierto y está completamente documentado.
Los investigadores, profesionales y entusiastas con experiencia en IA pueden acceder al modelo a través de Swisscom, su socio estratégico, o descargarlo de Hugging Face (una plataforma para modelos y aplicaciones de IA) e implementarlo en sus propios proyectos. Apertus está disponible gratuitamente en dos tamaños: uno con 8 mil millones y otro con 70 mil millones de parámetros; el modelo más pequeño es más adecuado para uso individual. Ambos modelos se publican bajo una licencia de código abierto permisiva, lo que permite su uso en educación e investigación, así como en amplias aplicaciones sociales y comerciales.
Un LLM completamente de código abierto
Como modelo de lenguaje totalmente abierto, Apertus permite a investigadores, profesionales y aficionados desarrollarlo y adaptarlo a sus necesidades específicas, así como inspeccionar cualquier parte del proceso de entrenamiento. Esto distingue a Apertus de los modelos que solo permiten el acceso a componentes seleccionados.
«Con este lanzamiento, nuestro objetivo es proporcionar un modelo para el desarrollo de un modelo de IA fiable, soberano e inclusivo», afirma Martin Jaggi, profesor de Aprendizaje Automático en la EPFL y miembro del Comité Directivo de la Iniciativa Suiza de IA. El modelo será actualizado periódicamente por el equipo de desarrollo, que incluye ingenieros especializados y un gran número de investigadores del CSCS, la ETH de Zúrich y la EPFL.
Un motor de innovación
Con su enfoque abierto, EPFL, ETH Zurich y CSCS se aventuran en nuevos territorios. «Apertus no es un ejemplo clásico de transferencia de tecnología de la investigación al producto. Lo consideramos, en cambio, un impulsor de la innovación y un medio para fortalecer la experiencia en IA en la investigación, la sociedad y la industria», afirma Thomas Schulthess, director de CSCS y profesor de ETH Zurich. Fieles a su tradición, EPFL, ETH Zurich y CSCS proporcionan tecnología e infraestructura fundamentales para impulsar la innovación en toda la economía.
Apertus está capacitado con 15 billones de tokens en más de 1000 idiomas (el 40 % de los datos no están en inglés) e incluye muchos idiomas que hasta ahora han estado subrepresentados en los LLM, como el alemán suizo, el romanche y muchos otros.
“Apertus está diseñado para el bien público. Se encuentra entre los pocos programas de máster (LLM) totalmente abiertos a esta escala y es el primero de su tipo en incorporar el multilingüismo, la transparencia y el cumplimiento normativo como principios fundamentales de diseño”, afirma Imanol Schlag, director técnico del proyecto LLM e investigador científico de la ETH de Zúrich.
«Swisscom se enorgullece de ser uno de los primeros en implementar este modelo pionero de lenguaje extenso en nuestra plataforma soberana de IA suiza. Como socio estratégico de la Iniciativa Suiza de IA, apoyamos el acceso a Apertus durante las Semanas Suizas de IA. Esto subraya nuestro compromiso con la creación de un ecosistema de IA seguro y responsable que sirva al interés público y fortalezca la soberanía digital de Suiza», comenta Daniel Dobos, director de Investigación de Swisscom.
Accesibilidad
Aunque configurar Apertus es sencillo para profesionales y usuarios expertos, se requieren componentes adicionales como servidores, infraestructura en la nube o interfaces de usuario específicas para su uso práctico. Los próximos hackatones Swiss {ai} Weeks serán la primera oportunidad para que los desarrolladores experimenten directamente con Apertus, prueben sus capacidades y compartan sus comentarios para futuras versiones.
Swisscom proporcionará una interfaz dedicada a los participantes del hackathon, lo que facilitará la interacción con el modelo. A partir de hoy, los clientes empresariales de Swisscom podrán acceder al modelo Apertus a través de la plataforma de IA suiza de Swisscom.
Además, para quienes residen fuera de Suiza, la Utilidad Pública de Inferencia de IA hará que Apertus sea accesible como parte de un movimiento global en favor de la IA pública. «Actualmente, Apertus es el modelo líder de IA pública: un modelo desarrollado por instituciones públicas para el interés público. Es nuestra mejor prueba hasta la fecha de que la IA puede ser una forma de infraestructura pública, como las carreteras, el agua o la electricidad», afirma Joshua Tan, responsable del mantenimiento de la Utilidad Pública de Inferencia de IA.
Transparencia y cumplimiento
Apertus está diseñado con la transparencia como base, lo que garantiza la reproducibilidad total del proceso de entrenamiento. Además de los modelos, el equipo de investigación ha publicado diversos recursos: documentación completa y código fuente del proceso de entrenamiento y los conjuntos de datos utilizados, ponderaciones del modelo, incluyendo puntos de control intermedios; todo ello publicado bajo la licencia de código abierto permisiva, que también permite su uso comercial. Los términos y condiciones están disponibles en Hugging Face.
Apertus se desarrolló teniendo debidamente en cuenta las leyes suizas de protección de datos, las leyes suizas de derechos de autor y las obligaciones de transparencia de la Ley de IA de la UE. Se ha prestado especial atención a la integridad de los datos y a los estándares éticos: el corpus de entrenamiento se basa únicamente en datos públicos. Se filtra para respetar las solicitudes de exclusión legibles por máquina de los sitios web, incluso con carácter retroactivo, y para eliminar datos personales y otro contenido no deseado antes de que comience el entrenamiento.
El comienzo de un viaje
“Apertus demuestra que la IA generativa puede ser potente y abierta”, afirma Antoine Bosselut, profesor y director del Laboratorio de Procesamiento del Lenguaje Natural de la EPFL y codirector de la Iniciativa Suiza de IA. “El lanzamiento de Apertus no es el último paso, sino el comienzo de un camino, un compromiso a largo plazo con unas bases de IA abiertas, fiables y soberanas, en beneficio del bien común mundial. Nos entusiasma ver a los desarrolladores participar en el modelo en los hackatones de las Semanas Suizas de la IA. Su creatividad y sus comentarios nos ayudarán a mejorar las futuras generaciones del modelo”.
Las futuras versiones buscan ampliar la familia de modelos, mejorar la eficiencia y explorar adaptaciones específicas para cada dominio en ámbitos como el derecho, el clima, la salud y la educación. También se espera que integren capacidades adicionales, manteniendo al mismo tiempo sólidos estándares de transparencia.
Acerca de Apertus y la Iniciativa Suiza de IA.
Apertus se desarrolló como parte de la
Iniciativa Suiza de IA , liderada por la EPFL y la ETH de Zúrich. Es el resultado de un esfuerzo colaborativo que reunió a investigadores, ingenieros y estudiantes de toda Suiza, junto con los ingenieros y la infraestructura del Centro Nacional Suizo de Supercomputación (CSCS). Esta experiencia colectiva, que abarca múltiples instituciones y disciplinas, ha hecho posible el desarrollo de Apertus.
Financiación y alianzas estratégicas.
El desarrollo del modelo de lenguaje extenso y la investigación de otros modelos de base específicos del dominio se financian mediante una inversión de más de 10 millones de horas de GPU en “Alps” por parte de CSCS y de la Junta de la ETH, el órgano de gestión estratégica y supervisión del Dominio ETH (que comprende la ETH de Zúrich, la EPFL, la WSL, la PSI, Empa y la Eawag). Esta financiación se complementa con las contribuciones de socios estratégicos, en particular de Swisscom, el mayor proveedor de telecomunicaciones de Suiza.
Acerca de las Swiss {ai} Weeks
Swiss {ai} Weeks es una iniciativa colaborativa para convertir la investigación pionera de Suiza en IA en un impacto social y económico. A través de hackatones, eventos de expertos, participación pública e incubación de startups, conecta a investigadores, desarrolladores, emprendedores y ciudadanos en torno a un objetivo común: dar forma a un uso ético, abierto y confiable de la IA. En el centro de la iniciativa se encuentra el primer Modelo de Lenguaje Grande de código abierto de Suiza, desarrollado con los valores suizos en mente: transparencia, responsabilidad y multilingüismo. Swiss {ai} Weeks activa un impulso colectivo para la aplicación responsable de la IA: descentralizada, práctica y construida para el bien común. Los iniciadores de la iniciativa incluyen EPFL AI Center, ETH AI Center, Swisscom, Impact Hub Switzerland, Kickstart Innovation, Panter y Wildcard Media.
EPFL News. M. A. traducido al español
