Diseño e implementación de una arquitectura distribuida para implantar un sistema de vigilancia de la calidad del aire

Abstract

En este trabajo de fin de máster, se propone diseñar e implementar un sistema de vigilancia de calidad del aire siguiendo una arquitectura distribuida y escalable basada en tecnologías big data. El objetivo principal es refactorizar la aplicación actual desarrollada sobre una arquitectura centralizada, con el fin de permitir la ingesta de un mayor número de fuentes de datos en el futuro y visualizar las mediciones de la calidad del aire en tiempo real. Con el fin de lograr estos objetivos, se construye la solución basada en una arquitectura Lambda modificada que aprovecha tecnologías como Apache Spark y Apache Kafka. Para evaluar la efectividad de la solución desarrollada, se llevan a cabo una serie de pruebas en la nube con diferentes configuraciones. Estas pruebas permitieron verificar que los requisitos especificados, entre otros, de rendimiento, se cumplieron satisfactoriamente. Estas mediciones procesadas se presentan a través de dashboards, así como las métricas de rendimiento del sistema implementado.

In this master's thesis, the proposal is to design and implement an air quality monitoring system following a distributed and scalable architecture based on big data technologies. The main objective is to refactor the current application developed on a centralized architecture to enable the ingestion of a larger number of data sources in the future and to visualize real-time air quality measurements. In order to achieve these goals, the solution is built based on a modified Lambda architecture that uses technologies as Apache Spark and Apache Kafka technologies. To assess the effectiveness of the developed solution, a series of cloud-based tests with different configurations are conducted. These tests allowed us to verify that the specified requirements, including performance, were successfully met. Processed measurements are presented through dashboards, as well as performance metrics of the implemented system.