Desarrollo de una aplicación para la generación y ejecución automatizada de notebooks en múltiples entornos

Abstract

En la era actual del Big Data, las empresas generan y procesan grandes volúmenes de datos en un corto período de tiempo. Este fenómeno le ha dado mayor visibilidad a la Ciencia de Datos, donde juega un aspecto vital para las empresas, permitiéndoles analizar los datos disponibles para optimizar la toma de decisiones y mejorar la eficiencia en las operaciones. Uno de los retos de esta nueva tecnología se debe a lo costoso y desafiante que puede resultar la ejecución de estos procesos. Impulsando así a empresas y organizaciones a explorar nuevas maneras de procesar los datos, centrándose en distintos aspectos. La elección del entorno de ejecución es uno de ellos, y es crucial, dado que las empresas pueden optar por la computación en la nube, por sistemas locales (on-premise) o entornos híbridos, cada uno con sus respectivas ventajas y desventajas. Esta decisión puede influir significativamente en factores críticos como el rendimiento, los costos y los riesgos operativos. Este proyecto tiene como objetivo crear una aplicación para una empresa dedicada al mundo financiero, la cual procesa, cada día, ingentes cantidades de datos. Estas ejecuciones consumen mucho tiempo y recursos, por lo que es vital el identificar cuál es la mejor manera de realizarlas con el menor impacto en los fondos de la empresa. Se pretende analizar los costos y la complejidad inherente tanto a la implementación como a la gestión de este programa.

In the current era of Big Data, companies generate and process large volumes of data in a short period of time. This phenomenon has brought greater visibility to Data Science, which plays a vital role for companies by enabling them to analyze available data to optimize decision-making and improve operational efficiency. One of the challenges of this new technology is the cost and complexity of executing these processes, which drives companies and organizations to explore new ways of processing data, focusing on different aspects. The choice of execution environment is one of these crucial aspects, as companies can opt for cloud computing, on-premise systems, or hybrid environments, each with its respective advantages and disadvantages. This decision can significantly influence critical factors such as performance, costs, and operational risks. The objective of this project is to create an application for a company in the financial sector, which processes vast amounts of data daily. These executions consume a lot of time and resources, making it vital to identify the best way to perform them with minimal impact on the company’s funds. The project aims to analyze the costs and inherent complexity of both the implementation and management of this program.