Ahora imagine una herramienta de ventas con inteligencia artificial que pueda hacer todo esto por usted.
En NVIDIA, el equipo de Operaciones de Ventas proporciona al equipo de Ventas las herramientas y los recursos necesarios para llevar al mercado hardware y software de vanguardia. Gestionar esto en toda la diversa tecnología de NVIDIA es un desafío complejo que comparten muchas empresas.
A través de la colaboración con nuestro equipo de ventas, descubrimos que dependen de documentación interna y externa y que, a menudo, deben navegar por varios repositorios para encontrar la información. Ahora imagine una herramienta de ventas con inteligencia artificial que pueda hacer todo esto por usted.
En esta publicación, se analiza cómo NVIDIA creó un asistente de ventas de IA utilizando modelos de lenguaje extenso (LLM) y tecnología de generación aumentada por recuperación (RAG) para optimizar los flujos de trabajo de ventas y abordar desafíos, componentes básicos de la solución y lecciones clave aprendidas. Para obtener más información, consulte Explorar modelos de recuperación .
Aprendizajes clave
A continuación te mostramos cómo crear un excelente asistente de ventas con inteligencia artificial.
Comience con una interfaz de chat fácil de usar
Comience con una plataforma de chat intuitiva y de múltiples turnos impulsada por un LLM capaz como Llama 3.1 70B . Mejoras de capas como RAG y búsqueda web a través de la API Perplexity para una funcionalidad avanzada sin comprometer la accesibilidad.
Optimizar la ingesta de documentos
Implemente un preprocesamiento exhaustivo que combine el procesamiento de cadenas determinista basado en reglas con la lógica basada en LLM para la traducción y edición. Este enfoque maximiza el valor de los documentos recuperados y mejora significativamente el rendimiento.
Implementar un RAG amplio para una cobertura integral
Utilice documentos recuperados de bases de datos internas de documentos y medios y contenido público disponible en el sitio web de la empresa para adaptarse a diversos flujos de trabajo y garantizar la entrega integral de información.
Equilibrar la latencia y la calidad
Optimice la velocidad y la relevancia de las respuestas mediante el uso de estrategias como mostrar resultados de búsqueda tempranos durante tareas de larga ejecución y brindar comentarios visuales sobre el progreso de la generación de respuestas.
Priorizar la frescura y diversidad de los datos
Realice actualizaciones diarias mediante la ingesta de artículos de una base de datos de medios y documentos de ventas internos e implemente conexiones en tiempo real a datos estructurados.
Aborde los desafíos de integración preparándose para diversos formatos de datos, como archivos PDF, presentaciones de diapositivas, grabaciones de audio y archivos de video, haciendo uso del análisis eficiente de NVIDIA Multimodal PDF Ingestion y la transcripción de reconocimiento automático de voz de Riva .
Desarrollo de un asistente de ventas con IA
La variada cartera de NVIDIA, que abarca LLM , simulaciones físicas , renderizado 3D y ciencia de datos , desafía al equipo de ventas a mantenerse informado en el acelerado mercado de IA.
Para abordar este desafío, desarrollamos un asistente de ventas con inteligencia artificial que se integra en los flujos de trabajo y brinda acceso instantáneo a los datos propios y externos. Con la tecnología de LLM avanzada como Llama 3.1 70B , con RAG , ofrece una interfaz de chat unificada enriquecida con información interna y datos externos.
Los equipos de ventas utilizan el asistente para responder rápidamente a consultas como, por ejemplo, “¿Cuáles son los principales beneficios de NVIDIA RTX para la ciencia de datos?” o “Resumir las actualizaciones recientes de CRM”. También genera respuestas personalizadas para consultas específicas de los clientes, como, por ejemplo, “¿Cómo optimiza NVIDIA los procesos de capacitación de IA en el sector de la salud?”.
El asistente también permite resumir, editar y corregir documentos. Los primeros usuarios adoptaron rápidamente su interfaz conversacional y apreciaron cómo mejoraba la prospección, la elaboración de informes y la interacción con los clientes en comparación con los sistemas de recuperación tradicionales.
Beneficios clave
- Acceso unificado a la información : combina datos internos de NVIDIA con información más amplia a través de la API Perplexity y la búsqueda web.
- Chat de nivel empresarial: maneja diversas consultas como revisión ortográfica, resumen, codificación y análisis con modelos como Llama-3.1-405B-instruct .
- Integración optimizada de CRM: automatiza la generación de consultas SQL y mejora los informes al resumir los datos de ventas directamente dentro de los sistemas de gestión de relaciones con el cliente (CRM) utilizando un enfoque Text2SQL.
Arquitectura y flujos de trabajo
El asistente de ventas de IA está diseñado para brindar escalabilidad, flexibilidad y capacidad de respuesta, con los siguientes componentes arquitectónicos centrales:
- Proceso de ingestión de documentos asistido por LLM
- Amplia integración de RAG
- Arquitectura de chat basada en eventos
- Indicadores de progreso temprano
Proceso de ingestión de documentos asistido por LLM
El proceso de ingesta de documentos (Figura 1) aborda desafíos como la traducción de documentos de otros idiomas, el análisis de PDF y el formato inconsistente.
Para garantizar la uniformidad, todo el texto se procesa mediante un LLM y se convierte a un formato Markdown estandarizado para su ingesta. Los pasos incluyen el análisis de archivos PDF con NVIDIA Multimodal PDF Ingestion Blueprint , la transcripción de archivos de audio con NVIDIA Parakeet NIM , la edición y traducción con Llama 3.1 70B y el almacenamiento de los resultados en una base de datos Milvus.
Los nombres de productos específicos de NVIDIA, como NVIDIA RTX o NVIDIA NeMo , también se enriquecen automáticamente con breves explicaciones obtenidas de una tabla de búsqueda, lo que mejora la claridad del documento y la facilidad de uso para los procesos posteriores.
Amplia integración de RAG
El asistente de ventas de IA responde a las consultas de los usuarios combinando los resultados de búsqueda de la recuperación de vectores en Milvus, la búsqueda web restringida al sitio web de NVIDIA y la API de Perplexity (Figura 2). Estas respuestas suelen incluir una docena o más de citas en línea, lo que plantea desafíos para un LLM cuando las citas incluyen URL extensas o información detallada sobre la autoría.
Para garantizar la precisión, utilizamos indicaciones que reemplazan las citas con claves alfanuméricas concisas durante la generación del texto. En un paso posterior de posprocesamiento, estas claves se reemplazan con detalles completos de las citas, lo que da como resultado citas en línea significativamente más confiables y precisas.
Arquitectura de chat basada en eventos
Mediante los flujos de trabajo de LlamaIndex (Figura 2), el asistente de ventas de IA gestiona de manera eficiente la generación de respuestas a través de procesos basados en eventos. Los eventos capturan el estado local requerido para cada paso, lo que garantiza una progresión fluida.
Cada paso del flujo de trabajo está respaldado por un administrador de contexto Chainlit , que mejora la experiencia del usuario al proporcionar indicadores visuales de progreso directamente dentro de la interfaz de usuario, simplificando la identificación de errores y la depuración.
Para tareas que requieren un razonamiento complejo, se utiliza la generación estructurada con razonamiento en cadena de pensamiento para mejorar significativamente la calidad de las consultas generadas para los datos de CRM.
La figura 3 muestra el flujo lógico del asistente de ventas de IA, que comienza con eventos para el enrutamiento y etiquetado de consultas, antes de dividirse en rutas distintas que pueden utilizar RAG basado en documentos o un enfoque Text2SQL para los datos de CRM para responder las preguntas de los usuarios. El diagrama arquitectónico destaca cómo la solución maneja de manera eficiente diversas entradas de datos, incluidos datos de CRM, transcripciones de llamadas y documentación patentada.
El flujo de trabajo ofrece múltiples rutas en función de cómo se enruta la consulta del usuario, lo que dificulta comprender cómo se generó una respuesta sin un seguimiento adecuado de los datos utilizados y los pasos ejecutados por el sistema.
El siguiente código de ejemplo muestra cómo se integran los pasos del flujo de trabajo de LlamaIndex con Chainlit para el seguimiento visual del progreso y la generación estructurada.
fromllama_index.llms.nvidia importNVIDIAfromchainlit importStepfrompydantic importBaseModel, Field fromllama_index.core.workflow importEvent, Workflow, stepclassSelectedTables(BaseModel): """Pydantic model for selecting the type of tables used for answering SQL queries""" reasoning_steps: list[str] =Field( description="Explanation of why these tables were selected" ) tables: list[str] =Field( description="List of table names that are relevant for answering the query" ) classTableSelectEvent(Event): """LlamaIndex Workflow event representing the table selection""" tables: list[str] classAssistantFlow(Workflow): llm =llm =NVIDIA("meta/llama-3.1-70b-instruct") ... @step defselect_tables(self, query_event): with Step(name="Table Selector") as step: selected =self.llm.structured_predict( SelectedTables, table_selection_prompt, query=query_event.query ) # Makes the output visibile in Chainlit UI step.output ={ "selected_tables": selected.tables, "reasoning_steps": selected.reasoning_steps, } # You don't need the reasoning steps later; you just need # the list of tables that can be used returnTableSelectEvent(selected.tables) # Results are used in later steps to query sales data from SQL |
Para obtener más información, consulte Creación de flujos de trabajo LLM de preguntas y respuestas basados en RAG , un análisis técnico profundo sobre la implementación de RAG con múltiples fuentes de datos mediante Chainlit y LlamaIndex. La publicación también incluye código de GitHub para demostrar las funcionalidades clave.
Indicadores de progreso temprano
Las tarjetas de citas (Figura 4) brindan retroalimentación en tiempo real durante largas llamadas API de terceros, lo que mejora la experiencia del usuario al mantenerlo informado y comprometido mientras se generan las respuestas.
El sistema completo de asistente de ventas con inteligencia artificial se representa visualmente en la Figura 5, que muestra la integración de sus componentes arquitectónicos centrales en un marco coherente. Muestra las principales agrupaciones de recursos para la ingesta de documentos, la generación aumentada de documentos de ventas y la respuesta a preguntas sobre datos estructurados mediante CRM Text2SQL.
Obstáculos y desventajas: cómo equilibrar la innovación y la facilidad de uso
El desarrollo del asistente de ventas con inteligencia artificial presentó varios desafíos que requieren compensaciones meditadas para equilibrar la innovación y la experiencia del usuario:
- Latencia y relevancia
- Reciente de los datos
- Complejidad de integración
- Cargas de trabajo distribuidas
Latencia y relevancia
Ofrecer respuestas rápidas es crucial para la experiencia del usuario, pero generar respuestas precisas y relevantes puede llevar mucho tiempo.
Para solucionar esto, implementamos límites de tiempo estrictos: un máximo de 8 segundos para la recuperación y el análisis de páginas web y 15 segundos para los resultados de la API de Perplexity.
También introdujimos elementos de interfaz de usuario que proporcionan resúmenes en tiempo real de las fuentes de RAG mientras se generan las respuestas, manteniendo a los usuarios informados y comprometidos.
Reciente de los datos
Mantener una base de conocimientos actualizada requiere muchos recursos. Actualmente, empleamos un período de retrospección de un año y estamos explorando estrategias para identificar y eliminar mejor el contenido obsoleto.
Complejidad de integración
La integración de diversas fuentes y formatos de datos (incluidos archivos PDF, presentaciones, audio y video) requirió flujos de trabajo de extracción y procesamiento personalizados. Esos esfuerzos exigentes fueron fundamentales para garantizar una cobertura de información completa y precisa.
Cargas de trabajo distribuidas
Las tareas de larga duración, como las consultas SQL, se gestionan mediante un enfoque parcialmente distribuido con una cola de mensajes. Esto garantiza interacciones en tiempo real sin comprometer el rendimiento.
Resumen
Desarrollar el asistente de ventas de IA para el equipo de ventas de NVIDIA fue un desafío técnico gratificante que nos permitió obtener información valiosa para diseñar soluciones escalables basadas en IA. Mediante una arquitectura basada en RAG, integramos diversas fuentes de conocimiento, optimizamos el manejo de consultas y garantizamos un alto rendimiento y precisión para satisfacer las demandas de un entorno dinámico con uso intensivo de datos.
Al combinar LLM avanzados, flujos de trabajo estructurados y recuperación de datos en tiempo real, el asistente de ventas con inteligencia artificial brinda al equipo de ventas información instantánea y personalizada, al mismo tiempo que mejora significativamente la eficiencia del flujo de trabajo y la participación del usuario. Este proyecto sirve como modelo para los desarrolladores que abordan sistemas complejos de apoyo a la toma de decisiones en dominios de ritmo rápido.
Las mejoras futuras se centrarán en perfeccionar las estrategias de actualización de datos en tiempo real, ampliar las integraciones con nuevos sistemas y formatos, reforzar la seguridad de los datos y mejorar el manejo de contenido multimedia. También estamos explorando funciones de personalización avanzadas para adaptar las soluciones aún más a las necesidades de cada usuario.
¿Te inspiraste en nuestro recorrido? NVIDIA ofrece un conjunto sólido de herramientas y recursos de IA generativa para ayudarte a diseñar e implementar tus propias soluciones de IA. Únete a nuestra comunidad de desarrolladores para conectarte, compartir y aprender de innovadores con ideas afines.
Recursos relacionados
- Sesión de GTC: Implementación de la IA generativa en la práctica
- Sesión de GTC: Uso de software optimizado para GPU para acortar el ciclo de retroalimentación en modelos de lucha contra el lavado de dinero y el fraude en un orden de magnitud
- Sesión de GTC: Infraestructura para IA, aceleración de los resultados empresariales: lecciones aprendidas y consideraciones en arquitecturas de alto rendimiento de próxima generación (presentada por World Wide Technology)
- NGC Containers: servicio de chatbot para asesores de compras minoristas
- NGC Containers: servicios de laboratorio, asesoría de compras y venta minorista
- Seminario web: Cómo crear e implementar un asistente virtual con inteligencia artificial y voz para centros de contacto de servicios financieros
NVIDIA Blog. C. K., P. M. y G. N. Traducido al español
Contacto