Diseño e implementación de un servicio de monitorización y aseguramiento de la calidad y seguridad de datos publicados en Kafka

Abstract

Hoy en día, con el establecimiento de las nuevas tecnologías en las actividades económicas en todos sus sectores, destaca la aplicación del IoT (Internet of Things), donde gran parte de los procesos recaen en el trabajo llevado a cabo por un amplio despliegue de dispositivos (computadores, sensores, etc) conectados a la red. Este proyecto, implementa un servicio de análisis, procesado y monitorización de datos disponibles en una plataforma big data distribuida y escalable, bajo una arquitectura centrada en el dato e implementada mediante el gestor de datos Kafka y con aplicación a casos de uso del sector industrial. En concreto, aborda la programación de reglas para la gestión de alarmas relativas a aspectos de calidad de los datos; genera un cuadro de mandos (dashboard) que permite la monitorización gráfica tanto del rendimiento de la plataforma como de los datos que se publican en ella, así como garantiza en todo este proceso la seguridad del entorno, con diversas políticas tanto de autorización como de autenticación. Además, durante el desarrollo, se barajaron alternativas para la elección del sistema de persistencia y se analizaron sus ventajas e inconvenientes con el foco en la monitorización.

Nowadays, with the establishment of new technologies in economic activities across all sectors, the application of Internet of Things (IoT) stands out, where a significant part of the processes relies on the work carried out by a wide variety of devices (computers, sensors, etc.) connected to the network. This project aims to propose a service for analysis, processing, and monitoring of data available on a distributed and scalable big data platform, under a data-centered architecture implemented using Kafka data manager, specifically addressed to industrial sector. In particular, the project develops the programming of rules for alarm management related to data quality issues. It also builds a dashboard that allows graphical monitoring of both platform performance and data published in it. Throughout this process, the security of the environment is ensured by implementing different authorization and authentication policies. Additionally, alternative persistence systems were considered, along with an analysis of their strengths and weaknesses for monitoring purposes.