Análisis y evaluación de LLMs con técnicas RAG para el desarrollo y despliegue de un asistente virtual

Abstract

Actualmente, la Inteligencia Artificial (IA) y los Grandes Modelos Lingüísticos, desempeñan un papel cada vez más importante a la hora de facilitar la interacción entre los usuarios y los sistemas informáticos. En el ámbito empresarial, estos se ofrecen habitualmente como un servicio a través de modelos de negocio como Platform as a Service (PaaS) o sistemas de uso por token. Sin embargo, algunas empresas ofrecen alternativas open-weights, liberando los pesos de sus modelos a la comunidad. El Trabajo de Fin de Grado (TFG) comenzará haciendo un estudio de estas alternativas y de frameworks para el despliegue y desarrollo de dichos modelos. Fruto del estudio previo, en el que se alimentará un asistente virtual con técnicas de recuperación de información y agregación de conocimiento donde se desplegarán dichos modelos con una configuración común a todos, se realizará la selección de una de las alternativas en base al rendimiento. Posteriormente, se ajustará dicha configuración optimizando el rendimiento del modelo seleccionado. Para la evaluación de los modelos, se tendrá en cuenta tanto el coste de recursos y de tiempo en inferirlo como la precisión de sus predicciones. Estas predicciones serán comparadas con unas respuestas previamente planteadas, fruto del estudio y análisis de un software de la empresa Consulting Informático de Cantabria SL. (CIC), que sirve como caso de uso para este trabajo.

Today, Artificial Intelligence (AI) and Large Language Models (LLMs) are playing an increasingly important role in facilitating interaction between users and computer systems. In the enterprise environment, LLMs are typically offered as a service through business models such as Platform as a Service (PaaS) or tokenised systems. However, some companies offer open-weights alternatives, releasing the weights of their models to the community. The TFG will start with a study of these alternatives and frameworks for the deployment and development of these models. As a result of the previous study, in which a virtual assistant will be fed with information retrieval and knowledge aggregation techniques where these models will be deployed with a common configuration for all of them, the selection of one of the alternatives will be made based on performance. Subsequently, the configuration will be adjusted to optimise the performance of the selected model. For the evaluation of LLMs, both the cost of resources and time to infer it and the accuracy of its predictions will be taken into account. These predictions will be compared with previously proposed answers, the result of the study and analysis of software from the company Consulting Informático de Cantabria SL (CIC), which serves as a use case for this work.