Orquestación de Recursos Computacionales Bajo Demanda para Mejorar la Eficiencia Energética en Entornos HPC/HTC

Abstract

ABSTRACT: For several years now, a strong trend has been observed among data processing centers around the world whereby their energy consumption is increasing [6]. This is due to the great need to increase computing power to meet all the needs of businesses and individuals. For this reason, the companies and organizations that support these gigantic computing infrastructures have the need to reduce this energy expenditure, either by improving the hardware for a more efficient one or by implementing energy saving policies. That is why this project seeks, as its main objective, to improve the energy efficiency of a high performance virtualized HPC/HTC computing environment, which has been previously designed, configured and limited by previous projects. To achieve this, we will try to reduce the energy consumption generated as a result of its normal operation, implementing a computational resource orchestration system based on an algorithm that has been designed in this project, which supplies, on demand, the necessary resources for the correct execution of jobs launched by users on the cluster through its queue system. For this purpose, advanced management and system organization techniques inherent and available in the infrastructure itself will be used, such as virtualization (Xen), work queue systems (SGE) or intelligent platform management interfaces (IPMI). Finally, to verify that the orchestration system is capable of substantially improving the energy efficiency of the cluster, a synthetic test bench will be carried out, which will try to simulate the use of a server cluster under normal conditions of use.

RESUMEN: Desde hace ya varios años se viene observando una fuerte tendencia entre los centros de procesamiento de datos alrededor del mundo por la que su consumo energético está viéndose aumentado [6]. Esto se debe a la gran necesidad de aumentar la potencia de cálculo para satisfacer todas las necesidades de empresas y particulares. Por ello, las empresas y organismos que sustentan estas gigantescas infraestructuras de cómputo tienen la necesidad de disminuir este gasto energético, bien sea mejorando el hardware por uno más eficiente o implementando políticas de ahorro energético. Es por ello por lo que en este proyecto se busca, como principal objetivo, mejorar la eficiencia energética de un entorno computacional virtualizado HPC/HTC de altas prestaciones, el cual ha sido previamente diseñado, configurado y acotado por anteriores proyectos. Para conseguirlo, se tratará de reducir el consumo energético generado como consecuencia de su normal operación, implementando un sistema de orquestación de recursos computacionales basado en un algoritmo que se ha diseñado en este proyecto, el cual suministre bajo demanda los recursos necesarios para la correcta ejecución de los trabajos lanzados por los usuarios sobre el clúster a través de su sistema de colas. Para ello, serán empleadas técnicas avanzadas de gestión y organización de sistemas inherentes y disponibles en la propia infraestructura de partida, tales como virtualización (Xen), sistemas de colas de trabajo (SGE) o interfaces de gestión inteligente de la plataforma (IPMI). Finalmente, para comprobar que el sistema de orquestación es capaz de mejorar sustancialmente la eficiencia energética del clúster, se realizará un banco de pruebas sintético, el cual tratará de simular la utilización de un clúster de servidores en condiciones de uso normales.