No todo lo que necesitas es atención

Abstract

RESUMEN: En este trabajo de Fin de Grado se explora el mundo del Procesamiento del Lenguaje Natural y el uso de redes neuronales para este campo específico de la Inteligencia Artificial. Se hace especial incidencia en la arquitectura transformer, propuesta en un primer momento en el ahora famoso artículo Attention is all you need y dominante en el sector desde entonces. Pese a sus éxitos, los transformers tienen sus detractores y a lo largo del trabajo se explican y se ejemplifican algunas de las críticas que reciben, implementándolos en un entorno de producción real y en un problema práctico de búsqueda y recuperación de información. A su vez, se presenta una línea de investigación muy reciente que pretende dotar a estos modelos de lo que carecen: sentido común. Esto es, la inferencia causal y el razonamiento contrafactual como posible pieza clave en la descripción formal de los lenguajes naturales.

ABSTRACT:

In this Final Degree Project, the world of Natural Language Processing and the use of neural networks for this specific field of Artificial Intelligence are explored. Special emphasis is placed on the transformer architecture, initially proposed in the now famous article Attention is all you need and dominant in the sector ever since. Despite their successes, the transformers have their detractors, and throughout this work, some of the criticisms they receive are explained and exemplified, implementing them in a real production environment and in a practical information search and retrieval problem. At the same time, a very recent line of research is presented that aims to provide these models with what they lack: common sense. That is, causal inference and counterfactual reasoning as a possible key piece in the formal description of natural languages.