DataStax ayuda a Wikimedia a lograr una velocidad de procesamiento de datos 10 veces mayor para servir su base de datos de contenido global a miles de millones de usuarios.
En la IA empresarial, comprender y trabajar en varios idiomas ya no es opcional: es esencial para satisfacer las necesidades de empleados, clientes y usuarios en todo el mundo.
La recuperación de información multilingüe (la capacidad de buscar, procesar y recuperar conocimientos en distintos idiomas) desempeña un papel fundamental para permitir que la IA ofrezca resultados más precisos y globalmente relevantes.
Las empresas pueden ampliar sus esfuerzos de IA generativa a sistemas precisos y multilingües mediante la incorporación y reclasificación de microservicios NVIDIA NIM de NVIDIA NeMo Retriever, que ahora están disponibles en el catálogo de API de NVIDIA . Estos modelos pueden comprender información en una amplia gama de idiomas y formatos, como documentos, para ofrecer resultados precisos y contextuales a gran escala.
Con NeMo Retriever, las empresas ahora pueden:
- Extraiga conocimiento de conjuntos de datos grandes y diversos para obtener contexto adicional y brindar respuestas más precisas.
- Conecte sin problemas la IA generativa con los datos empresariales en la mayoría de los principales idiomas globales para ampliar las audiencias de usuarios.
- Ofrezca inteligencia procesable a mayor escala con una eficiencia de almacenamiento de datos 35 veces mejorada mediante nuevas técnicas, como soporte de contexto largo y dimensionamiento de incrustación dinámica.
Los principales socios de NVIDIA, como DataStax, Cohesity, Cloudera, Nutanix, SAP, VAST Data y WEKA, ya están adoptando estos microservicios para ayudar a las organizaciones de todos los sectores a conectar de forma segura modelos personalizados a fuentes de datos grandes y diversas. Al utilizar técnicas de recuperación-generación aumentada ( RAG ), NeMo Retriever permite que los sistemas de IA accedan a información más completa y relevante y superen de manera eficaz las brechas lingüísticas y contextuales.
Wikidata acelera el procesamiento de datos de 30 días a menos de tres días
En asociación con DataStax , Wikimedia ha implementado NeMo Retriever para incrustar en vectores el contenido de Wikipedia, lo que beneficia a miles de millones de usuarios. La incrustación en vectores (o “vectorización”) es un proceso que transforma los datos en un formato que la IA puede procesar y comprender para extraer información e impulsar la toma de decisiones inteligente.
Wikimedia utilizó los microservicios NIM de incrustación y reclasificación de NeMo Retriever para vectorizar más de 10 millones de entradas de Wikidata en formatos compatibles con IA en menos de tres días, un proceso que antes llevaba 30 días. Esa aceleración 10 veces mayor permite un acceso escalable y multilingüe a uno de los gráficos de conocimiento de código abierto más grandes del mundo.
Este proyecto innovador garantiza actualizaciones en tiempo real de cientos de miles de entradas que son editadas diariamente por miles de colaboradores, lo que mejora la accesibilidad global tanto para desarrolladores como para usuarios. Con el modelo sin servidor de Astra DB y las tecnologías de inteligencia artificial de NVIDIA, la oferta de DataStax ofrece una latencia casi nula y una escalabilidad excepcional para satisfacer las demandas dinámicas de la comunidad Wikimedia.
DataStax utiliza NVIDIA AI Blueprints e integra los microservicios NVIDIA NeMo Customizer, Curator, Evaluator y Guardrails en el generador de código LangFlow AI para permitir que el ecosistema de desarrolladores optimice los modelos y los procesos de IA para sus casos de uso únicos y ayudar a las empresas a escalar sus aplicaciones de IA.
La inteligencia artificial que incluye lenguaje genera impacto empresarial global
NeMo Retriever ayuda a las empresas globales a superar las barreras lingüísticas y contextuales y a liberar el potencial de sus datos. Al implementar soluciones de inteligencia artificial sólidas, las empresas pueden lograr resultados precisos, escalables y de alto impacto.
Los socios consultores y de plataforma de NVIDIA desempeñan un papel fundamental para garantizar que las empresas puedan adoptar e integrar de manera eficiente las capacidades de IA generativa, como los nuevos microservicios multilingües NeMo Retriever. Estos socios ayudan a alinear las soluciones de IA con las necesidades y los recursos exclusivos de una organización, lo que hace que la IA generativa sea más accesible y eficaz. Entre ellos se incluyen:
- Cloudera planea ampliar la integración de NVIDIA AI en Cloudera AI Inference Service. Cloudera AI Inference, que actualmente está integrado con NVIDIA NIM, incluirá NVIDIA NeMo Retriever para mejorar la velocidad y la calidad de la información para casos de uso multilingües.
- Cohesity presentó el primer asistente de búsqueda conversacional basado en inteligencia artificial generativa de la industria que utiliza datos de respaldo para brindar respuestas valiosas. Utiliza el microservicio de reclasificación NVIDIA NeMo Retriever para mejorar la precisión de la recuperación y mejorar significativamente la velocidad y la calidad de la información para varias aplicaciones.
- SAP está utilizando las capacidades de conexión a tierra de NeMo Retriever para agregar contexto a su función de preguntas y respuestas del copiloto Joule y a la información recuperada de documentos personalizados.
- VAST Data está implementando los microservicios NeMo Retriever en VAST Data InsightEngine con NVIDIA para que los nuevos datos estén disponibles instantáneamente para su análisis. Esto acelera la identificación de información empresarial mediante la captura y organización de información en tiempo real para la toma de decisiones impulsadas por IA.
- WEKA está integrando su arquitectura WEKA AI RAG Reference Platform (WARRP) con NVIDIA NIM y NeMo Retriever en su plataforma de datos de baja latencia para ofrecer soluciones de IA escalables y multimodales, procesando cientos de miles de tokens por segundo.
Rompiendo las barreras del lenguaje con la recuperación de información multilingüe
La recuperación de información multilingüe es fundamental para que la IA empresarial satisfaga las demandas del mundo real. NeMo Retriever permite la recuperación de texto eficiente y precisa en varios idiomas y conjuntos de datos multilingües. Está diseñado para casos de uso empresariales, como sistemas de búsqueda, de preguntas y respuestas, de resumen y de recomendación.
Además, aborda un desafío importante en la IA empresarial: manejar grandes volúmenes de documentos de gran tamaño. Con soporte para contextos extensos, los nuevos microservicios pueden procesar contratos extensos o registros médicos detallados, manteniendo al mismo tiempo la precisión y la consistencia en interacciones prolongadas.
Estas capacidades ayudan a las empresas a utilizar sus datos de forma más eficaz, ofreciendo resultados precisos y fiables para empleados, clientes y usuarios, al tiempo que optimizan los recursos para lograr una mayor escalabilidad. Las herramientas avanzadas de recuperación multilingüe como NeMo Retriever pueden hacer que los sistemas de IA sean más adaptables, accesibles y eficaces en un mundo globalizado.
Disponibilidad
Los desarrolladores pueden acceder a los microservicios multilingües NeMo Retriever y otros microservicios NIM para la recuperación de información a través del catálogo de API de NVIDIA o una licencia de desarrollador de NVIDIA AI Enterprise sin costo por 90 días .
Obtenga más información sobre los nuevos microservicios NeMo Retriever y cómo usarlos para crear sistemas de recuperación de información eficientes. NVIDIA Blog. L. de E. Traducido al español
Contacto