Despliegue de un entorno de computación cloud para el experimento CMS

Abstract

RESUMEN: El experimento CMS (Compact Muon Selenoid) está diseñado para descubrir un rango amplio de partículas y fenómenos que se producen en el Gran Colisionador de Hadrones (LHC). Dentro de este proyecto se realizan análisis de grandes volúmenes de datos sobre diferentes infraestructuras distribuidas de forma global en todo el mundo. Actualmente, el Instituto de Física de Cantabria (IFCA) participa activamente en este proyecto ofreciendo sus recursos de computación. Por un lado, la infraestructura Grid computing dónde sus usuarios, así como otros usuarios del proyecto CMS, ejecutan sus simulaciones. Y por otro lado, los recursos locales, como HPC o clústeres locales, dónde grupos de investigación nacionales o internacionales, así como usuarios CMS, ejecutan sus análisis. En los últimos años, los usuarios CMS del IFCA han tendido a ejecutar sus trabajos utilizando otras vías además de la que la infraestructura local les proporciona. Esto suele ser debido a colaboraciones con investigadores que están acostumbrados a trabajar en otros sistemas. En este trabajo se propone llevar a cabo la implementación y despliegue de un entorno de computación bajo demanda para el experimento CMS sobre una infraestructura cloud basada en OpenStack. Este despliegue se llevará a cabo utilizando la solución desarrollada dentro del proyecto europeo INDIGO-DataCloud, llamada DODAS, que consiste en la orquestación de un clúster de computación basado en contenedores y a su vez integrado en la infraestructura de computación global de CMS, HTCondor. El objetivo que se persigue es ofrecer un servicio que sea transparente y facilite a los usuarios el uso de la infraestructura local y así, explotar nuestros recursos de manera más eficiente que la utilizada hasta ahora. DODAS implica la utilización de diferentes componentes y tecnologías que es necesario integrar para lograr el objetivo final del proyecto. En primer lugar, se hace uso del estándar abierto TOSCA como lenguaje para definir la topología necesaria para desplegar la aplicación. Ha sido necesario realizar algunas modificaciones de forma que sea posible utilizar la topología descrita en la infraestructura local. En segundo lugar, se integran diferentes tecnologías y servicios cloud. El componente principal es el servicio de orquestación de OpenStack, llamado Heat, el cuál es el encargado de manejar todo el ciclo de vida de la infraestructura: desde el despliegue inicial, al escalado de los nodos y finalización del entorno. Como paso final, una vez desplegado el entorno, éste se ha incluido dentro de la Global Pool de HTCondor para que esta nueva infraestructura pueda ser utilizada por los usuarios de CMS y puedan ejecutar sus simulaciones y análisis sobre ella.

ABSTRACT: The CMS experiment (Compact Muon Solenoid) is designed in order to discover a wide spectrum of particles and phenomena that are generated at Large Hadron Collider (LHC). In this project, large volumen of data is analysed on different distributed infrastructures globally around the world. Nowadays, the Instituto de Física de Cantabria (IFCA) participates actively in this project, offering computing resources. On the one hand, the infrastructure Grid computing, where its users as well as users from CMS project, run their simulations. On the other hand, its local resources, like HPC or local clusters, where national or international researchers, as well as CMS users, run their analysis. In recent years, the CMS users from IFCA have tended to run their jobs using other ways besides the local infrastructure that is at their disposal.This is due to collaborations with other researchers that work in other systems. On this project it is proposed to carry out an implementation and deployment of a computing environment on demand for the CMS experiment on a cloud infrastructure based on OpenStack. This deployment will be carried out using the solution developed inside the European project INDIGO-DataCloud, named DODAS, which consists on the orchestration of a computing cluster based on containers, and in turn, integrated in the infrastructure of CMS Global Pool, HTCondor. The main goal is to offer a transparent and more usable service for the users of the local infrastructure in order to exploit our resources in a more efficient way than they used till now. DODAS implies the use of different components and technologies that are needed to integrate for achieving the final goal of the project. Firstly, the open standard TOSCA is used as language to define the needed topology for the application deployment. It has been necessary to do some modifications in order to be possible to apply the topology described at the local infrastructure. Secondly, it is used different technologies and cloud services that have been needed to integrate as well. The main component is the OpenStack orchestration service, named Heat, which functions are to manage the infrastructure life cycle: from the initial deployment, to node escalation and completion of the environment. Finally, once the environment has been deployed, it has been included inside the CMS Global Pool in order to being used by the CMS users, so that they are able to run simulations and analysis on it.