Aplicación de la minería de texto: optimización empresarial y análisis de la percepción pública

Abstract

El presente Trabajo Fin de Máster explora las capacidades multifacéticas de la minería de texto como una disciplina crítica para extraer información valiosa de datos no estructurados. Se analiza el proceso completo de un proyecto de minería de texto, desde el preprocesamiento inicial del texto hasta la aplicación de algoritmos avanzados de aprendizaje automático y la subsiguiente visualización de resultados. El trabajo busca enfatiza el valor de la minería de texto para resolver problemas complejos en diversos dominios relacionados con las empresas, destacando su papel en la optimización de procesos operativos y su contribución a los desafíos globales, particularmente los descritos por los Objetivos de Desarrollo Sostenible (ODS). Se profundiza en la evolución histórica y el estado actual de la minería de texto, detallando su convergencia con la Inteligencia Artificial y el Big Data. También se examinan los conceptos teóricos y estadísticos fundamentales que sustentan el campo, incluyendo varias técnicas de representación de texto. En las secciones de aplicaciones prácticas, se emplean conjuntos de datos de opinión pública y documentación empresarial (estudios de productos e incidencias/errores industriales) combinando representaciones de los términos identificados a través del esquema TF-IDF y con clasificadores XGBoost, SVM y Naive Bayes. Los resultados obtenidos revelan la importancia de un entrenamiento con datos de calidad, a la vez que ponen de manifiesto la dificultad de la representación semántica y los retos de transparencia e interpretabilidad de los modelos

This Master's Thesis explores the multifaceted capabilities of text mining as a critical discipline for extracting valuable information from unstructured data. It analyses the entire process of a text mining project, from initial text pre-processing to the application of advanced machine learning algorithms and the subsequent visualisation of results. The work seeks to emphasise the value of text mining for solving complex problems in various business-related domains, highlighting its role in optimising operational processes and its contribution to global challenges, particularly those outlined by the Sustainable Development Goals (SDGs). It delves into the historical evolution and current state of text mining, detailing its convergence with Artificial Intelligence and Big Data. It also examines the fundamental theoretical and statistical concepts that underpin the field, including various text representation techniques. In the practical applications sections, public opinion and business documentation datasets (product studies and industrial incidents/errors) are used, combining TF-IDF representations with XGBoost, SVM and Naive Bayes classifiers. The results obtained reveal the importance of training with quality data, while highlighting the difficulty of semantic representation and the challenges of transparency