Diseño y migración de un proceso ETL para el apoyo de toma de decisiones en empresas

Abstract

En el marco de este proyecto, se ha realizado una migración de las operaciones de ((Extract, Transform and Load)) (ETL) con el propósito fundamental de consolidar información clave proveniente de datos empresariales. En el vasto panorama de empresas dedicadas a la manufactura y distribución de menaje y electrodomésticos, se destaca la empresa con la que se ha colaborado, desempeñando un papel esencial como distribuidora mayorista para diversas entidades. Sin embargo, a pesar de su posición en el mercado, la empresa enfrenta desafíos específicos relacionados con la gestión de datos vinculados a sus productos e instalaciones. La problemática identificada en este contexto empresarial ha motivado una revisión de los procesos existentes, destacando la necesidad imperante de optimizar la recopilación y manipulación de datos para mejorar la eficiencia operativa y la toma de decisiones estratégicas. La migración de la ETL se propuso con el objetivo principal de optimizar la eficiencia del proceso, ya que se identificaron diversos puntos con un considerable margen de mejora. Todo el flujo de trabajo estaba originalmente estructurado en la aplicación KNIME, abarcando desde la lectura de datos de la base de datos hasta la obtención de los reportes finales, atravesando las diversas fases de análisis. A lo largo de la ejecución de la migración, se enfrentaron varios desafíos que fueron abordados y resueltos mediante la combinación de conocimientos y la colaboración efectiva del equipo. El resultado final del proyecto fue satisfactorio, cumpliendo con los objetivos establecidos en la fase inicial (kick-off). Este proyecto no solo mejoró la eficiencia del proceso, sino que también sentó las bases para una gestión más efectiva y el mejor aprovechamiento de los datos.

Within the framework of this project, a migration of the operations of ((Extract, Transform and Load)) (ETL) with the fundamental purpose of consolidating key information from business data. In the vast panorama of companies dedicated to the manufacture and distribution of household goods and appliances, the company with which we have collaborated stands out, playing an essential role as a wholesale distributor for various entities. However, despite its position in the market, the company faces specific challenges related to the management of data linked to its products and facilities. The issues identified in this business context have motivated a review of existing processes, highlighting the imperative need to optimize data collection and manipulation to improve operational efficiency and strategic decision making. The ETL migration was proposed with the main objective of optimizing process efficiency, as several points with considerable room for improvement were identified. The entire workflow was originally structured in the KNIME application, ranging from reading data from the database to obtaining the final reports, going through the various analysis phases. Throughout the execution of the migration, several challenges were faced that were addressed and solved through the combination of knowledge and effective team collaboration. The end result of the project was satisfactory, meeting the objectives established in the initial phase (kick-off). This project not only improved the efficiency of the process, but also laid the groundwork for more effective management and better use of data.