Diseño y despliegue de una plataforma de monitorización para centros de procesamiento de datos

Abstract

Los centros de procesamiento de datos son infraestructuras críticas no solo para la provisión de servicios científicos y tecnológicos, sino también para el desarrollo de la sociedad actual, potenciado por la transformación digital a nivel global. A medida que estas infraestructuras crecen en tamaño y complejidad, impulsadas por una demanda cada vez mayor, resulta imprescindible contar con sistemas de monitorización que supervisen su rendimiento, eficiencia y sostenibilidad. En este contexto, el Trabajo de Fin de Máster tiene como objetivo el diseño, desarrollo y despliegue de una plataforma de monitorización escalable, modular y extensible para el centro de procesamiento de datos del Instituto de Física de Cantabria (IFCA-CSIC-UC), basada íntegramente en herramientas de código abierto. La nueva plataforma sustituye al sistema previo incorporando una arquitectura moderna, eficiente y adaptable, diseñada para facilitar el mantenimiento, reducir los costes operativos y permitir la integración sencilla de nuevas fuentes de datos. Su diseño modular y escalable se adapta de manera óptima a entornos de computación heterogéneos, caracterizados por una gran variedad de equipamiento y tecnologías. La solución permite monitorizar en tiempo real el estado y utilización de máquinas físicas y virtuales, dispositivos de red, y software de gestión de la infraestructura, como los servicios cloud basados en OpenStack. Asimismo, permite realizar un seguimiento exhaustivo del consumo energético global de la instalación, así como a niveles más detallados, como racks, servidores, componentes específicos de los mismos o máquinas virtuales. A partir de estos datos, se calculan en tiempo real métricas e indicadores clave que permiten mejorar la eficiencia energética en las diferentes escalas medidas, además de ser utilizadas en este caso específico para proyectos europeos como GreenDIGIT y AI4EOSC, así como en otras iniciativas relacionadas con el impacto ambiental, como el plan de sostenibilidad del CSIC. Tras su implementación y despliegue, la plataforma ha mejorado significativamente su eficiencia operativa, reemplazando el sistema anterior con una solución más escalable y flexible, que abarca más sistemas y equipamiento, ofreciendo una visión más detallada de la utilización, capacidad y disponibilidad de la infraestructura. A futuro, se planea expandir la plataforma con nuevos servicios e integrar capacidades para calcular el impacto ambiental en operación, consolidándola como una herramienta fundamental para apoyar la toma de decisiones y una gestión más sostenible del centro de procesamiento de datos.

Data processing centers are critical infrastructures not only for the provision of scientific and technological services, but also for the development of today’s society, powered by the global digital transformation. As these infrastructures grow in size and complexity, driven by an ever-increasing demand, it is essential to have monitoring systems that oversee their performance, efficiency and sustainability. In this context, the objective of this work is the design, implementation and deployment of a scalable, modular and extensible monitoring platform for the data processing center at the Institute of Physics of Cantabria (IFCA-CSIC-UC), based entirely on open-source tools. The new platform replaces the previous system with a modern, efficient and adaptable architecture designed to facilitate maintenance, reduce operating costs and allow easy integration of new data sources. Its modular and scalable design is optimally suited to heterogeneous computing environments, characterized by a wide variety of equipment and technologies. The solution enables real-time monitoring of the status and usage of physical and virtual machines, network devices, and key infrastructure management software, such as the cloud services based on OpenStack. It also allows exhaustive monitoring of the overall energy consumption of the installation, as well as at more detailed levels, such as racks, servers, specific components or virtual machines. From this data, key metrics and indicators are calculated in real time to improve energy efficiency at all scales that are measured and also used in this specific case for European projects such as GreenDIGIT and AI4EOSC, as well as in other initiatives related to environmental impact, such as the CSIC’s sustainability plan. Upon implementation and deployment, the platform significantly improved its operational efficiency, replacing the previous system with a more scalable and flexible solution that covers more systems and equipment, offering a more detailed view of infrastructure usage, capacity and availability. In the future, there are plans to expand the platform with new services and integrate capabilities to calculate the environmental impact in operation, consolidating it as a fundamental tool to support decision-making and a more sustainable management of the data processing center.