El servicio de lectura Everand de Scribd, Inc. alberga una biblioteca global de millones de libros electrónicos, audiolibros y más.
Para la versión más reciente del asistente de descubrimiento de contenido impulsado por IA de Everand, Ask AI, Scribd, Inc. imaginó una experiencia de descubrimiento que combinara el complejo catálogo de Everand con una comprensión matizada de cada cliente.
El equipo utilizó tres modelos de Llama para crear la nueva Ask AI: Llama 3.1 8B, 70B y 405B. Además de diseñar un agente de IA intuitivo y competente, el equipo trabajó para optimizar el rendimiento y administrar los costos de cada carga de trabajo.
“La naturaleza de código abierto de Llama nos permitió mantenernos a la vanguardia de la innovación, adaptando el modelo para mejorar las recomendaciones de contenido rápidamente”, afirma Prabdheep Cheema, ingeniero sénior de aprendizaje automático en Scribd, Inc. “Para empresas como la nuestra, los modelos de código abierto brindan flexibilidad y permiten una experimentación rápida para satisfacer las necesidades de nuestros usuarios”.
Antes de que Scribd, Inc. integrara la IA, encontrar un título o tema en Everand dependía principalmente de una búsqueda por palabra clave. Con más de 195 millones de piezas de contenido en las marcas de Scribd, Inc., los 200 millones de visitantes únicos mensuales del servicio podían buscar recomendaciones, pero las sugerencias se basaban en temas generados previamente que los clientes no podían cambiar. Eso dificultaba la búsqueda de contenido específico y el descubrimiento de nuevos títulos de interés.
Creando una experiencia de contenido mágica
Con la nueva función Ask AI, los clientes de Everand pueden explorar una amplia gama de temas y hacer preguntas poco conocidas como: «¿Cómo aparecen las técnicas de artes marciales antiguas en las historias de romance modernas?»
“Crear una experiencia de contenido mágica fue el factor más importante”, afirma Steve Neola, director sénior de productos, IA generativa, en Scribd, Inc. Llama se destacó por su capacidad superior para comprender la intención de una persona y entregar resultados precisos rápidamente.
La nueva inteligencia artificial Ask AI lleva el descubrimiento más allá de las búsquedas de títulos específicos. El modelo Llama 3.1 8B reentrenado que se encuentra en el centro del servicio tiene una comprensión matizada de la intención del cliente y la biblioteca Everand le permite generar recomendaciones intuitivas basadas en tipos de trama, escenarios, géneros y otros libros que le gustan al usuario.
Poniendo en práctica los modelos Llama
Para desarrollar la nueva versión, el equipo utilizó Llama 3.1 405B para crear datos sintéticos para un conjunto de datos de entrenamiento que simulaba una amplia gama de comportamientos del consumidor.
El ajuste fino con eficiencia de parámetros (PEFT) con QLoRA/LoRA y el ajuste fino supervisado permitieron a Scribd, Inc. crear una versión sumamente precisa y personalizada de Llama 3.1 8B. Debido a que Llama es de código abierto, el equipo pudo superar las limitaciones del modelo cerrado y lograr una personalización más profunda. El modelo reentrenado detectó con precisión la intención del cliente (incluida la comprensión de preguntas poco comunes) y dirigió a los clientes al mejor servicio para sus solicitudes. El ajuste fino de Llama 3.1 8B ayudó al equipo a ofrecer mejores resultados con una latencia mínima para los componentes en tiempo real de la función Ask AI, al mismo tiempo que administraba la huella del modelo y las demandas informáticas.
A medida que se publican más libros y pasan a formar parte de la biblioteca Everand, Llama 3.1 70B funciona en segundo plano para generar metadatos para cada pieza de contenido con el fin de mejorar el descubrimiento y la precisión. Las opciones de implementación flexibles de Llama también facilitaron al equipo la integración del modelo en su flujo de trabajo del asistente Ask AI sin realizar cambios importantes en la infraestructura. Scribd, Inc. utilizó Amazon Web Services (AWS) y la inferencia por lotes de Databricks para analizar cantidades masivas de datos y respaldar el desarrollo de soluciones. La aplicación ofrece la salida estructurada del modelo en formato JSON para mejorar la extracción de metadatos y garantizar respuestas de alta calidad en tiempo real.
Scribd, Inc. afirma que, con el tiempo, Ask AI se convertirá en un agente de descubrimiento de nivel superior con el poder de mejorar la retención de clientes, mejorar la lealtad y crear un mayor valor de por vida para los lectores. De cara al futuro, Scribd, Inc. planea integrar Llama en más áreas de su experiencia de usuario y aprovechar Llama Guard 3 para obtener más confianza en el contenido y soporte de moderación. Meta News. Traducido al español
Contacto