Categoría: IoT

Este documento detalla el uso de RAG para diseñar una solución de preguntas y respuestas para bases de conocimiento de comunicación inalámbrica y una solución de evaluación que la acompaña. 1 Desarrollo de LLM En 2005, el uso de grandes modelos n-gram en la traducción automática marcó el comienzo de los modelos de grandes idiomas (LLM). En 2017, se introdujo la estructura de red Transformer, que redefinió el procesamiento del lenguaje natural (PNL) al incorporar un mecanismo de atención que mejoró significativamente el rendimiento del modelo en múltiples tareas. La introducción de las Representaciones de Codificadores Bidireccionales de los modelos Transformers (BERT) en 2018 y 2019 avanzó aún más el desarrollo de modelos de lenguaje pre-entrenados (PLM). BERT utiliza efectivamente la información de contexto tanto de la izquierda como de la derecha a través de un codificador bidireccional, logrando un rendimiento de vanguardia (SOTA) en múltiples tareas de PNL. RoBERta, una edición avanzada de BERT, mejora aún más el rendimiento del modelo ajustando el tamaño de los hiperparámetros y los datos de entrenamiento. El lanzamiento de GPT-3 en 2020 marcó un hito importante en el desarrollo de LLM. GPT-3 mejora la generalización de un LLM y las capacidades de aprendizaje de pocos disparos simplemente aumentando el tamaño del modelo. Además, GPT-3 sobresale en la generación de texto, produciendo muestras de artículos de noticias que son indistinguibles de las obras humanas. En los últimos años, los LLM se han utilizado cada vez más para tareas multimodales, como las tareas híbridas de texto + de imagen, además de las tareas convencionales de procesamiento de texto. Con el rápido avance de la tecnología, los LLM enfrentan nuevos desafíos e intereses de investigación en términos de adaptarse al conocimiento en constante cambio en las aplicaciones del mundo real a través de actualizaciones de conocimiento. La evolución de los LLM implica innovación algorítmica y arquitectónica, así como investigación avanzada sobre capacitación, evaluación y aplicación de modelos, transición de modelos estadísticos simples a modelos complejos de redes neuronales y grandes modelos preentrenados. Se espera que los LLM avancen hacia una mayor explicabilidad, una mayor eficiencia y una integración y procesamiento óptimos de múltiples tipos de datos. 2 Tecnologías LLM esenciales en la Gestión del Conocimiento Los LLM han demostrado un gran potencial en el campo de la gestión del conocimiento debido a sus capacidades avanzadas. Sin embargo, también se enfrentan a varios desafíos importantes. Primero, están capacitados utilizando datos de propósito general de Internet para maximizar la accesibilidad y la aplicabilidad. Esta falta de datos profesionales en el proceso de capacitación conduce a un rendimiento de LLM subóptimo en los campos profesionales. En segundo lugar, los LLM a menudo generan respuestas aparentemente convincentes pero inexactas, conocidas como alucinaciones. Para abordar estos desafíos, la industria ha desarrollado dos soluciones comunes: afinar y recuperar la generación aumentada (RAG). 2.1 Ajuste Fino El ajuste fino es una tecnología de aprendizaje automático que implica el uso de un pequeño volumen de datos específicos de la tarea para volver a capacitar a un LLM pre-entrenado para un escenario de aplicación nuevo o específico. Este proceso implica agregar una o más capas de salida al modelo preentrenado y usar un conjunto de datos diseñado para que la tarea vuelva a entrenar el modelo, lo que le permite comprender y ejecutar mejor la tarea específica. El ajuste fino aprovecha el conocimiento general aprendido por el modelo pre-entrenado como punto de partida, eliminando la necesidad de entrenar un modelo desde cero, lo que puede ser computacionalmente costoso y lento. BERT es un excelente ejemplo de ajuste fino. Primero está preentrenado en una gran cantidad de datos de texto y luego se ajusta para tareas específicas de PNL, lo que resulta en mejoras significativas en el rendimiento. 2.2 TRAPO RAG es un enfoque innovador que combina la memoria parametrizada pre-entrenada, como los LLM, con la memoria no parametrizada, como los índices vectoriales densos de Wikipedia. Recupera dinámicamente información de recursos de conocimiento externos en tareas de generación de lenguaje, mejorando la precisión, diversidad y factualidad del contenido generado. Un modelo RAG típico incluye un LLM como memoria parametrizada y un retriever que accede a memoria no parametrizada, como índices vectoriales densos. 2.3 Ventajas y Desventajas de RAG y Fine-Tuning Comparamos el RAG y el ajuste de seis dimensiones: datos dinámicos, conocimiento externo, personalización de modelos, reducción de alucinaciones, transparencia y experiencia técnica. Tabla 1 Ventajas y desventajas del RAG y el ajuste fino Debido a que RAG demuestra un rendimiento superior en cinco dimensiones, utilizamos RAG en LLM para mejorar el rendimiento de la gestión del conocimiento de comunicación inalámbrica. 3 Solución 3.1 Diseño de Soluciones de Preguntas y Respuestas para Bases de Conocimiento de Comunicación Inalámbrica La solución comprende dos partes: construcción fuera de línea de bases de conocimiento de comunicación inalámbrica y preguntas y respuestas en línea (Q&A). 3.1.1 Construcción Offline de Bases de Conocimiento de Comunicación Inalámbrica La Figura 1 ilustra el proceso de construcción fuera de línea de bases de conocimiento de comunicación inalámbrica. Inicialmente, los usuarios cargan diferentes tipos de documentos, como archivos de código y protocolos 3GPP. Estos documentos cargados se someten a análisis, limpieza y corte y se envían al LLM para generar pares de preguntas y respuestas para cada corte, lo cual es opcional. Los índices vectoriales y los índices de palabras clave se crean para los pares de preguntas y respuestas y los datos de corte sin procesar, y se almacenan en una base de datos vectorial y una base de datos común, respectivamente. La creación de índices vectoriales implica un modelo de incrustación. 3.1.2 Preguntas y respuestas en línea La Figura 1 también ilustra el proceso de preguntas y respuestas en línea. Un usuario introduce una pregunta, y el LLM reconoce la intención del usuario, que es opcional. Según la intención, el LLM selecciona bases de datos de conocimiento de comunicación inalámbrica relevantes o un proceso de manejo. Luego, se realiza la recuperación híbrida para recordar los primeros segmentos de conocimiento K que son