Autosubmit wrappers to speed up scientific production

Abstract

Los Modelos del Sistema Terrestre (ESMs, por sus siglas en inglés) son modelos numéricos complejos que simulan tanto los distintos componentes del sistema terrestre como las interacciones entre ellos. Los ESMs constituyen la base de la producción científica en el ámbito de las Ciencias de la Tierra, por lo que trabajar en su optimización computacional constituye una tarea crítica. Estos modelos son sistemas complejos y su puesta en marcha normalmente conlleva la ejecución de múltiples pasos asociados a los varios componentes que los integran, el tratamiento de los datos, y la larga extensión temporal de las simulaciones climáticas. A lo largo de este estudio, evaluaremos el impacto de la agregación de tareas en simulaciones reales de estos modelos ejecutadas en varios supercomputadores europeos. En este contexto, la agregación de tareas – o wrapping – es un mecanismo que nos permite enviar varias tareas agrupadas en una sola a las plataformas remotas. Gracias a estudios anteriores, sabemos que agrupar tareas en wrappers verticales – es decir, en los que cada tarea depende de la anterior –, implica la reducción del tiempo que pasan las distintas tareas en la cola del planificador, es decir, el tiempo que esperan a que el sistema les conceda los recursos necesarios para ser ejecutadas. Al reducir los tiempos de cola, lo que estaríamos consiguiendo en última instancia es reducir el tiempo total de ejecución del flujo de tareas, o workflow. Como base de nuestra investigación utilizaremos el modelo comunitario europeo ECEarth3, uno de los ESMs más reconocidos en Europa por sus contribuciones al proyecto CMIP6. El workflow que lo implementa ha sido portado a múltiples supercomputadores europeos como MeluXina de LuxProvide, HPC2020 de ECMWF o MareNostrum 4 y MareNostrum 5 del Barcelona Supercomputing Center. Los resultados experimentales de nuestro estudio muestran que para las tres plataformas de supercomputación testadas los tiempos de cola agregados para un experimento de simulación que utiliza wrappers verticales son de 11 a 12 veces más cortos en comparación con los de un experimento que no los utiliza.

Earth System Models (ESMs) are complex numerical models that simulate both the different components of the Earth and the interactions between them. The ESMs are the basis of scientific production in the field of Earth Sciences, so working on their computational optimization is an essential endeavor. These models are complex systems and their implementation usually involves the execution of multiple steps associated with the various components that integrate them, data processing, and the long time extension of the climate simulations. Throughout this research, we will assess the effects of task aggregation on real-life simulations of these models conducted on various European supercomputers. In this context, task aggregation, also known as wrapping, is a strategy that enables us to bundle multiple tasks and submit them as a single job wrapper to remote platforms. Previous research states that organizing tasks into vertical wrappers – where each task is dependent on the preceding one – results in shorter waiting times in the scheduler queue, which is the duration for which they wait for the system to allocate the required resources for execution. Consequently, reducing queue times leads to a decrease in the overall execution time of the workflow. We will utilize the European community model EC-Earth3 as the basis of our research, one of the best known ESMs in Europe. The workflow that executes it has been ported for use on several European supercomputers, including MeluXina from LuxProvide and HPC2020 from ECMWF together with MareNostrum 4 and MareNostrum 5 at the Barcelona Supercomputing Center. The experimental findings of our research indicate that across the three evaluated supercomputing platforms the total queue times for an experiment utilizing vertical wrappers are 11 to 12 times shorter compared to an experiment without them.