Planificador inteligente consciente de la energía en sistemas HPC

Abstract

In recent years, energy consumption has become a limiting factor in the evolution of highperformance computing (HPC) clusters in terms of environmental concern and maintenance cost. As computing power increases and workloads become more intensive owing to the rising popularity of artificial intelligence and machine learning tasks, this problem is not expected to recede in the near future. Consequently, numerous techniques are being researched as a means of tackling energy consumption in HPC systems, including energy-aware job scheduling. Since this is known to be an NP-complete problem, heuristic scheduling algorithms and, more recently, artificial intelligence have been the main focus of the investigation carried out in this area. Job scheduling approaches to reducing energy consumption have traditionally resorted to time-related metrics as their main optimization target, seeing that execution time and energy consumption are closely related. However, difficulties arise in the face of issues such as memory contention and heterogeneous resources, giving rise to a need for more specific solutions. This work aims to design an intelligent job scheduler for HPC systems trained using deep reinforcement learning techniques that focuses on reducing energy consumption explicitly, by leveraging the information provided by the power consumption specifications of the resources of a heterogeneous cluster, and by optimizing energy-related metrics directly instead of relying on time measurements.

En los últimos años, el consumo energético se ha convertido en un factor limitante en el desarrollo y evolución de los clusters de computación de alto rendimiento (HPC) en términos de su impacto ambiental y coste de mantenimiento. A medida que la potencia de cómputo de estos sistemas aumenta y la carga de trabajo a la que están sometidos se vuelve más intensa debido a la creciente popularidad de las tareas relacionadas con la inteligencia artificial y el aprendizaje automático, este problema no va a remitir en un futuro cercano. Como consecuencia de esta situación, diversas técnicas están siendo investigadas con el objetivo de reducir el consumo energético en los sistemas HPC, entre las cuales destaca la planificación de tareas consciente de la energía. Puesto que este es un problema NP-completo, las principales vertientes de investigación en esta área se han centrado en algoritmos heurísticos de planificación y, más recientemente, modelos de inteligencia artificial. El campo de la planificación de tareas en sistemas HPC como medio para reducir el consumo energético tradicionalmente se ha centrado en la optmización de métricas relacionadas con el tiempo, dada la estrecha relación existente entre estas y el consumo energético. Sin embargo, factores como la contención de memoria y la consideración de recursos heterogéneos derivan en una mayor complejidad que requiere el desarrollo de soluciones más específicas. Este trabajo pretende diseñar un planificador inteligente para sistemas HPC entrenado mediante técnicas de aprendizaje reforzado profundo que se centre explícitamente en reducir el consumo de energía haciendo uso de la información proporcionada por las especificaciones de consumo de potencia de los recursos de un clúster HPC heterogéneo, y optimizando métricas relacionadas con la energía en lugar de con el tiempo.