Creación de un chatbot con Precision y NVIDIA AI Workbench

Revolucione la recuperación de información empresarial con un chatbot RAG personalizado con tecnología de NVIDIA AI Workbench. Experimente soluciones innovadoras impulsadas por IA para un acceso sin inconvenientes a los datos.

Crea tu propio chatbot: recuperación sencilla de información con inteligencia artificial

Todos hemos experimentado la frustración de buscar información importante en varios sistemas de la empresa. Ya sea en ventas, recursos humanos o soporte, encontrar los datos correctos puede llevar mucho tiempo y ser difícil. Ahora, imagine un mundo en el que simplemente pueda hacer una pregunta y obtener la respuesta en segundos. Eso es lo que puede hacer un chatbot de recuperación aumentada (RAG) : extraer instantáneamente la información más relevante de los documentos de su empresa.

¿Y la mejor parte? Con herramientas como NVIDIA AI Workbench , puedes crear un chatbot RAG en tu PC personal, sin necesidad de una infraestructura masiva. En este artículo, te guiaremos a través del proceso de configuración de tu propio chatbot RAG, utilizando un proyecto de ejemplo de AI Workbench para mostrar cómo la IA puede simplificar la recuperación de información y cómo puedes escalarlo para uso comercial.

¿Por qué crear un chatbot RAG?

Un chatbot de RAG combina la generación de lenguaje natural con la capacidad de buscar en sus datos internos. A diferencia de los chatbots tradicionales que dependen únicamente de modelos entrenados previamente, RAG recupera datos reales antes de generar su respuesta, lo que significa que las respuestas son precisas y contextualmente relevantes.

Esta tecnología es adecuada para una variedad de aplicaciones comerciales, tales como:

• Los departamentos de RRHH responden rápidamente a las preguntas sobre políticas.
• Equipos de atención al cliente recuperan instantáneamente detalles de productos o preguntas frecuentes.
• Equipos de ventas acceden a datos en tiempo real para mejorar los tiempos de respuesta durante las negociaciones.

Al integrar datos específicos de la empresa con el chatbot, su empresa puede brindar respuestas personalizadas y contextuales, lo que le permitirá ahorrar tiempo, reducir las búsquedas manuales y mejorar la eficiencia de las comunicaciones internas. Obtenga más información sobre cómo crear un chatbot híbrido RAG manteniendo la privacidad de los datos con NVIDIA AI Workbench .

Primeros pasos: lo que necesitará

1. NVIDIA AI Workbench : esta plataforma te ayuda a ejecutar modelos de IA en cualquier GPU NVIDIA RTX , de forma local o remota. Descárgala aquí .
2. Proyecto híbrido RAG de AI Workbench : personaliza este proyecto de ejemplo y crea tu propio chatbot. Accede a él aquí .
3. Datos de la empresa : deberá cargar los documentos internos, las bases de conocimiento o las fuentes de datos que el chatbot utilizará para recuperar información.
4. Una estación de trabajo capaz con una GPU NVIDIA RTX : idealmente, una estación de trabajo Precision impulsada por una GPU NVIDIA RTX Ada Generation para un procesamiento más rápido .

Guía paso a paso para crear tu chatbot RAG

Para poner en marcha tu propio chatbot RAG a nivel local, puedes seguir estos pasos :

1. 1. Configure su cuenta NVIDIA NGC y obtenga su clave API NVCF.
   2. Instale NVIDIA AI Workbench y agregue la clave API secreta.
   3. Ejecute el cliente RAG.
   4. ¡Elige un modelo, elige un modo de inferencia y agrega tus datos!

1. Configure su cuenta NVIDIA NGC y obtenga su clave API NVCF

• Vaya a la página de inicio de sesión de NVIDIA NGC e ingrese un correo electrónico para crear su cuenta:

• Después de configurar su cuenta con sus datos personales, genere una clave de ejecución :

Guarde la clave generada en algún lugar seguro para pasos posteriores.

2. Instale NVIDIA AI Workbench y agregue la clave API secreta

• Instalar NVIDIA AI Workbench:

• Clonar el proyecto AI Workbench Hybrid RAG desde GitHub :

• Una vez que se complete la construcción del proyecto, debería aparecer este cuadro de diálogo. Puede ingresar la clave que generamos anteriormente aquí:

• Si el modal no aparece, puedes ingresar la clave API yendo a Entorno→Secretos:

3. Ejecute el cliente RAG

• Ahora, cuando presiones “Abrir chat”, debería aparecer esta ventana con una interfaz de chat:

4. Elija un modelo, elija un modo de inferencia y agregue sus datos

• Seleccione “Sistema local” como modo de inferencia. Esto ayuda a garantizar que sus datos, consultas y cálculos permanezcan completamente privados y autónomos en su sistema local.
• A continuación, seleccione una familia de modelos.
• En nuestro caso, utilizamos un modelo sin compuerta, el Microsoft/Phi-3-mini-128-instruct con cuantificación de 4 bits:

Ahora que has configurado tu chatbot, puedes agregar datos y comenzar a realizar consultas. Asegúrate de probar el chatbot haciendo preguntas reales basadas en los datos que proporcionaste y cuyas respuestas exactas conoces.

Este paso se puede ampliar a medida que aumentan las necesidades de datos de su empresa. Actualizar periódicamente el chatbot con nueva información garantiza que siga siendo relevante y útil.

¿Cómo podemos escalar esto? Diseños validados de Dell

Escalar una solución de IA como un chatbot de RAG puede resultar abrumador, especialmente a medida que su empresa crece y su chatbot necesita gestionar más consultas, datos y tareas complejas. Los DVD de Dell están diseñados para simplificar este proceso al proporcionar una hoja de ruta para la escalabilidad , la optimización del rendimiento y la seguridad . Dell desarrolló esta guía de diseño gratuita para que esté preparado para tener éxito en la creación de una solución de IA segura, eficaz y escalable.

Estos son algunos de los principios básicos que aprenderá al leer la guía :

Arquitectura modular y escalable

Cuando recién comienza a utilizar su chatbot RAG, es posible que solo maneje unas pocas consultas a la vez. Pero a medida que aumenta el uso, también lo harán las demandas de su infraestructura. La arquitectura validada de Dell presenta un enfoque modular que permite que su sistema crezca sin necesidad de realizar reconfiguraciones importantes.

• • Empiece con poco y escale según sea necesario : inicialmente, implemente su chatbot en una PC personal o un servidor pequeño. A medida que aumente la cantidad de usuarios y consultas, puede expandir el sistema gradualmente agregando recursos.
  • Kubernetes para escalabilidad dinámica : use Kubernetes para que su infraestructura de chatbot pueda escalar automáticamente para adaptarse a una mayor demanda. Luego, los recursos se asignan de manera eficiente a medida que su sistema crece.

Seguridad de datos locales

A medida que crece su chatbot de RAG, también crece la importancia de proteger sus datos privados. La arquitectura de Dell enfatiza la implementación local para empresas que necesitan mantener los datos confidenciales en la empresa, lejos de los sistemas basados ​​en la nube.

• • Ejecute su chatbot en hardware local : la arquitectura de Dell admite la implementación local, lo que significa que puede hacer crecer su sistema en servidores Dell PowerEdge u otra infraestructura local, manteniendo sus datos protegidos.
  • Tiempos de respuesta más rápidos : al mantener sus datos y procesamiento localmente, puede esperar respuestas más rápidas a medida que el sistema crece.

Optimización del rendimiento con GPU NVIDIA RTX Professional

Dell recomienda aprovechar las GPU NVIDIA RTX para que su chatbot se escale de manera eficiente y mantenga un alto rendimiento.

• • Incorporar GPU NVIDIA RTX : escalar con GPU NVIDIA RTX garantiza que su chatbot pueda manejar consultas con mayor uso de datos sin sufrir problemas de latencia o ralentizaciones. Según los modelos seleccionados y si desea ejecutarlo localmente, necesitará una GPU NVIDIA RTX de 12 GB o más. Aunque no necesita ejecutarlo localmente, también puede ejecutar Workbench con NIM o NeMO.
  • Optimice para cargas de trabajo más pesadas : al ampliar su carga de trabajo, también debe tener en cuenta el hardware que la respalda. Dell tiene opciones que se pueden ampliar para adaptarse a su carga de trabajo:
    • Servidores en torre : ideales para pequeñas y medianas empresas que necesitan una solución rentable y fácil de administrar. Perfectos para comenzar a pequeña escala sin la necesidad de un centro de datos completo.
    • Servidores en rack : mejores para operaciones a gran escala con infraestructura de TI existente (por ejemplo, una sala de servidores).
    • Servidores de IA : de uso más pesado, diseñados para cargas de trabajo de IA intensivas, como aprendizaje profundo y procesamiento de datos a gran escala.
    • Servidores perimetrales : ideales para entornos en los que es necesario procesar datos en tiempo real en ubicaciones remotas. Son útiles para sistemas distribuidos de baja latencia como IoT.

Por qué RAG y la escalabilidad son importantes para su negocio

Un chatbot de RAG simplifica la forma en que su empresa accede a información crítica. Ya sea en RR. HH., ventas o atención al cliente, un chatbot de RAG garantiza que los datos correctos estén siempre a su alcance, extrayendo instantáneamente información relevante de sus sistemas internos. Esto reduce el tiempo dedicado a buscar respuestas, mejora la toma de decisiones y aumenta la productividad general.

Sin embargo, la creación del chatbot es solo el comienzo. A medida que su empresa crece, su chatbot debe escalar junto con ella. Ahí es donde entran en juego los principios de diseño de IA validados de Dell . Dell ofrece un marco comprobado para expandir su chatbot de manera eficiente y segura, con una arquitectura modular que le permite crecer sin problemas, una implementación local para proteger datos confidenciales y GPU NVIDIA RTX para mantener un alto rendimiento incluso con cargas de trabajo más pesadas.

Al implementar estas estrategias escalables, su chatbot RAG evolucionará desde una simple herramienta de recuperación de información a un poderoso sistema de IA que crece con su empresa y brinda información rápida y precisa en cada paso del camino. Dell Technologies Blog. L.L. Traducido al español