Data Management in a Cloud Framework: application to the LifeWatch ESFRI

Abstract

RESUMEN: El creciente volumen de datos procedentes de distintas fuentes y con distintos formatos hace que la apropiada gestión del ciclo de vida de los datos científicos sea imprescindible para el correcto desarrollo de la ciencia. Durante los últimos años, la Comisión Europea ha estado promoviendo la explotación de resultados, desarrollos y datos por parte de investigadores externos, de modo que se habilita el reuso y aprovechamiento de trabajos apoyados por esta entidad. Varias medidas como el impulso de los Planes de Gestión de Datos, así como la generación de datos “FAIR” (Encontrables, Accesibles, Interoperables y Reusables), están destinadas a garantizar que el esfuerzo invertido en proyectos de investigación sea reaprovechado, de modo que más personas puedan beneficiarse de ello. Esta tesis presenta diferentes diseños, desarrollos, prototipos y servicios en producción basados en “Cloud Computing” y teniendo en cuenta todo el contexto europeao para asegurar la producción de datos científicos “FAIR”, confirmando que la computación en la nube es apropiada para soportar los retos complejos de la ESFRI LifeWatch.

ABSTRACT: The increasing capacity of computing resources and complexity of the instruments used in Science in our days, resulting in a growing volume of data with different heterogeneous formats and methodologies, makes an appropriate Data Life Cycle management essential for addressing new multidisciplinary challenges. LifeWatch ESFRI, the Research Infrastructure for Biodiversity and Ecosystem Research in Europe, provides clear examples, like the global warming or species extinctions. In addition, the European Commission is promoting the reuse of data, findings, and developments, through the “European Open Science Cloud” (EOSC), a new framework to stimulate the interaction among researchers, developers, and infrastructures from different disciplines. Thanks to its dynamism and flexibility providing and connecting services, Cloud Computing emerges as the most promising technology solution to support this new framework.

Starting from these pillars, Data Life Cycle management, the EOSC framework, and Cloud Computing, this thesis proposes complete solutions for the implementation of relevant LifeWatch Case Studies. They are based on the experience and developments related to different EU projects, including COOPEUS, EGI-Engage LifeWatch Competence Centre, and INDIGO-DataCloud. Going through the different stages of this new approach, integrating different protocols, standards, tools, methods and services oriented to ensure a “FAIR” data (Findable, Accessible, Interoperable, Reusable), this thesis presents different designs, developments, prototypes, and services in production, confirming Cloud Computing as an adequate technology to support these complex LifeWatch challenges.