Evaluación de Data Lakes en Machine Learning y Big Data

Abstract

RESUMEN: Un Data Lake es un repositorio de datos en bruto provenientes de diversas fuentes que permite el uso de herramientas de Big Data y Machine Learning. Es un sistema pensado para procesos de inteligencia de negocio, ya que permite cruzar grandes volúmenes de información de distintos entornos haciendo uso de técnicas de paralelización masiva. El problema es que estos sistemas tienen una estructura muy compleja y carecen de una estandarización, lo que los convierte en proyectos de alto riesgo con altas tasas de fracaso. Este trabajo de fin de grado se desarrolla en colaboración con la empresa CIC consulting informático, una consultoría de desarrollo de proyectos de informática. La empresa quiere realizar la integración de tres productos desarrollados internamente, IDboxRT, SgrWin y Fieldeas que, aunque se desarrollen por separado, en ocasiones son usados de forma conjunta El objetivo de este proyecto es evaluar la tecnología de los Data Lake para la integración de estos tres productos, comprobando su capacidad de integración con distintas herramientas de Big Data y Machine Learning mediante la implementación de distintas variantes del sistema.

ABSTRACT: A Data Lake is a repository of raw data from various sources that allows the use of Big Data and Machine Learning tools. It is a system designed for Business Intelligence processes, since it allows to cross large volumes of information from different environments by using massive parallelization techniques. The problem is that these systems have a very complex structure and also lack of standarization, making them high-risk projects with high failure rates. This final degree project is developed in collaboration with the company CIC consulting informático, a computer consulting company. The company wants to integrate three internally developed products, IDboxRT, SgrWin y Fieldeas that, although developed separately, are sometimes used together. The objective of this project is to evaluate the Data Lake technologies for the integration of these three products, verifying their integration capacity with different Big Data and Machine Learning tools through the implementation of different system variants.