Categoría: La IA aplicada a la Educación

Proponemos Re-Invoke, un método de recuperación de herramientas no supervisado que recupera de manera eficaz y eficiente las herramientas más relevantes de un gran conjunto de herramientas dada la consulta del usuario con múltiples intenciones subyacentes. Aumentar los modelos de lenguaje grandes (LLM) con herramientas externas, en lugar de depender únicamente de su conocimiento interno, podría liberar su potencial para resolver problemas más desafiantes. Los enfoques comunes para este «aprendizaje de herramientas» se dividen en dos categorías: (1) métodos supervisados ​​para generar funciones de llamada de herramientas , o (2) aprendizaje en contexto, que utiliza documentos de herramientas que describen el uso previsto de la herramienta junto con demostraciones de pocos intentos. Los documentos de herramientas brindan instrucciones sobre las funcionalidades de la herramienta y cómo invocarla, lo que permite a los LLM dominar las herramientas individuales. Sin embargo, estos métodos enfrentan desafíos prácticos cuando se escalan a una gran cantidad de herramientas. En primer lugar, sufren límites de token de entrada. Es imposible alimentar la lista completa de herramientas dentro de una sola solicitud y, incluso si fuera posible, los LLM aún a menudo luchan por procesar de manera efectiva la información relevante de contextos de entrada largos . En segundo lugar, el conjunto de herramientas está evolucionando. Los LLM a menudo se combinan con un recuperador entrenado en pares de consulta-herramienta etiquetados para recomendar una lista corta de herramientas. Sin embargo, el conjunto de herramientas LLM ideal debería ser amplio y dinámico, con herramientas que se actualizan con frecuencia. Proporcionar y mantener etiquetas para entrenar a un recuperador para un conjunto de herramientas tan extenso y en evolución sería poco práctico. Finalmente, uno debe lidiar con intenciones ambiguas del usuario. El contexto del usuario en las consultas podría ofuscar las intenciones subyacentes, y no identificarlas podría llevar a llamar a las herramientas incorrectas. En “ Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval ”, presentado en EMNLP 2024 , presentamos un nuevo método de recuperación no supervisado diseñado específicamente para el aprendizaje de herramientas para abordar estos desafíos únicos. Re-Invoke aprovecha los LLM tanto para el enriquecimiento de documentos de herramientas como para la extracción de intenciones del usuario para mejorar el rendimiento de la recuperación de herramientas en varios casos de uso. Demostramos que el método Re-Invoke propuesto mejora de manera consistente y significativa las líneas de base que cubren las tareas de recuperación de una sola herramienta y de múltiples herramientas en conjuntos de datos de referencia de uso de herramientas. Re-invocar La tarea de recuperación de herramientas se formula como la recuperación de las herramientas más relevantes que un agente posterior puede ejecutar para satisfacer las consultas del usuario, dada una lista de documentos de herramientas que describen el uso previsto de la herramienta. Re-Invoke es un método de recuperación de herramientas totalmente no supervisado diseñado para tales tareas. Consta de dos componentes principales: Descripción general de Re-Invoke en las tareas de recuperación de herramientas. Arriba: un generador de consultas produce diversas consultas sintéticas a partir de la documentación de la herramienta. Cada consulta sintética se concatena con la documentación de la herramienta para crear varias copias de la documentación de la herramienta ampliada. Abajo: un extractor de intenciones sintetiza varias intenciones subyacentes a partir de las consultas del usuario para recuperar las herramientas relevantes. Como se pueden recuperar diferentes herramientas relevantes de cada intención extraída de las consultas del usuario, presentamos un nuevo método de clasificación de similitud de múltiples vistas para considerar todas las intenciones relacionadas con las herramientas expresadas en la consulta del usuario. Clasificamos las herramientas individualmente por la puntuación de relevancia dentro de cada intención y recuperamos la herramienta principal de cada intención (consulte el ejemplo a continuación). Para lograr esto, diseñamos una función de ordenamiento para considerar tanto la clasificación de la herramienta recuperada dentro de cada intención como el valor de la puntuación de similitud entre la herramienta y la intención en el espacio de incrustación. La formulación propuesta nos permite capturar la relevancia de cada intención para diferentes aspectos del documento de la herramienta, como se representa mediante las consultas sintéticas. Una ilustración del algoritmo de clasificación de similitud de múltiples vistas durante la recuperación. Se pueden extraer múltiples intenciones de la consulta del usuario. Primero calculamos los puntajes de similitud entre los documentos de herramientas expandidos y cada intención en el espacio de incrustación y luego clasificamos y recuperamos las mejores herramientas de cada intención. Experimento Seleccionamos los conjuntos de datos ToolBench y ToolE para evaluar el rendimiento de recuperación de herramientas de Re-Invoke. Ambos conjuntos de datos proporcionan pares de documentos de herramientas de consulta y de verdad fundamental que reflejan escenarios del mundo real. El conjunto de datos ToolBench consta de más de 10 000 herramientas extraídas del centro RapidAPI , adecuadas para evaluaciones de recuperación de herramientas a gran escala. Usamos la métrica nDCG@k para evaluar el rendimiento de recuperación de herramientas considerando solo las k herramientas recuperadas principales. Usamos el mismo conjunto de datos ToolBench para evaluar el rendimiento de extremo a extremo al integrar el agente LLM con el método de recuperación Re-Invoke propuesto. Para Re-Invoke, utilizamos el modelo text-bison@001 de Google Vertex AI en el generador de consultas con una temperatura de muestreo de 0,7 (para introducir variaciones en la respuesta del modelo) para generar 10 consultas sintéticas diversas por documento de herramienta. El mismo modelo text-bison@001 (con una temperatura de muestreo de 0,0) se utiliza en el extractor de intenciones para sintetizar las intenciones de las consultas del usuario. Luego, extraemos vectores de incrustación densos de los documentos de herramientas aumentados y las intenciones extraídas utilizando el modelo textembedding-gecko@003 de Google Vertex AI . Para el método de recuperación dispersa, utilizamos vectores de incrustación BM25 . Promediamos los valores de incrustación de varias copias del documento de herramienta expandido como una representación del documento de herramienta. Replicamos nuestro experimento utilizando otros LLM, incluido el modelo turbo gpt-3.5 de OpenAI y el modelo Mistral-7B-Instruct-v0.3 de Mistral AI con los mismos parámetros de modelo y solicitud. Tenga en cuenta que esta investigación se realizó principalmente en noviembre de 2023 y, por lo tanto, utilizamos modelos text-bison@001 en nuestro experimento. Re-Invoke supera las líneas base