Mejorar las infraestructuras HPC para el análisis interactivo de datos climáticos

Abstract

Este trabajo Fin de Máster (TFM) se centra en la implementación de JupyterHub en la infraestructura de computación de alto rendimiento (HPC) del grupo de meteorología de la Universidad de Cantabria y el Consejo Superior de Investigaciones Científicas (CSIC). El contexto de este trabajo está centrado en el aumento de aplicaciones que hacen uso de Machine Learning en el campo del clima y meteorología, impulsado por el aumento de datos masivos y de las capacidades computacionales de los HPC. La motivación del proyecto radica en que la actual infraestructura del grupo de meteorología UC/CSIC, a pesar de contar con un petabyte de almacenamiento y nodos de cálculo accesibles mediante un sistema de colas, carece de una interfaz web que facilite el análisis de datos de forma gráfica e interactiva para los investigadores. El objetivo de este TFM consiste en la implementación de un data hub para el análisis interactivo de datos climáticos en la infraestructura del HPC del grupo de meteorología (UC/CSIC). El data hub dispondrá de las herramientas necesarias para que los usuarios puedan realizar análisis de datos a través de una interfaz web interactiva, aprovechando los nodos del clúster del HPC.

This Master Thesis (TFM) focuses on the implementation of JupyterHub in the High Performance Computing (HPC) infrastructure of the meteorology group of the University of Cantabria. High Performance Computing infrastructure of the meteorology group of the University of Cantabria and the Consejo Superior de Investigaciones Cientificas (CSIC). The context of this work is focused on the increase of applications that make use of Machine Learning in the field of weather and climate. Learning in the field of climate and meteorology, driven by the increase of massive data and of the computational capabilities of HPCs. The motivation of the project lies in the fact that the current infrastructure of the UC/CSIC, despite having one petabyte of storage and computational nodes accessible through a queueing system, lacks a web interface to facilitate data analysis in a graphical and interactive way for researchers. The objective of this TFM is the implementation of a climate data hub for the interactive analysis of climate data in the HPC infrastructure of the meteorology group (UC/CSIC). The data-space will have the necessary tools for users to perform data analysis through an interactive web interface, taking advantage of the HPC cluster nodes.