Ejecución de grandes cargas computacionales con requisitos temporales sobre plataformas de tercera generación

Abstract

RESUMEN: Este trabajo tiene como objetivo la validación de una estrategia para ejecutar, con requisitos temporales, aplicaciones que conllevan una gran carga de procesamiento en una plataforma informática escalable de tercera generación. Las aplicaciones deben haber sido diseñadas para que sus cargas de trabajo puedan ser paralelizadas en múltiples procesadores de la plataforma. La plataforma de ejecución está constituida por un conjunto escalable de servidores con uno o múltiples procesadores que están ubicados en el entorno próximo (niebla) o capacidad de procesamiento virtual contratada en la nube cuyo número puede ser fijado dinámicamente en el lanzamiento de la aplicación. La estrategia propuesta estima previamente la capacidad de procesamiento que se requiere para ejecutar las aplicaciones en los tiempos de ejecución que tengan especificados y, en base a ella, se reclutan dinámicamente los servidores de la plataforma que se necesiten. La plataforma que se escala tiene como elementos principales un middleware de distribución, un gestor de mensajes orientado al dato y un planificador distribuido. El middleware de distribución delimita los servidores que participan en la ejecución, mantiene de forma segura información compartida por todos ellos y garantiza la integridad de la información frente a caídas de los servidores. El gestor de mensajes facilita la comunicación entre los componentes distribuidos desacoplando los componentes de la aplicación en base al paradigma publicador/subscriptor. Por último, el planificador distribuido distribuye equilibradamente la carga de trabajo entre los recursos de procesamiento disponibles. La plataforma se ha implementado en base a tecnologías desarrolladas dentro del proyecto Apache para Big Data: Zookeeper, como middleware de distribución, y Kafka , como gestor de mensajería y planificador distribuido. Se ha utilizado como ejemplo de aplicación el simulador JSimMast que evalúa la planificabilidad de sistemas de tiempo real complejos y que se ha ejecutado sobre diferentes plataformas alternativas.

ABSTRACT: This project’s main object is the validation of a strategy to execute, with temporal requirements, applications which entail a huge processing power in a third-generation scalable computer platform. The applications must have been designed for their job loads could be parallelized in numerous platform processors. The execute platform is constituted by a scalable group of computers with one or more processors situated in the near environmental (fog) or virtual process capacity contracted in the cloud whose number can be dynamically set at the application’s launch. This strategy estimates previously the processors capacity which is required to carry out the applications on time and recruit the computers platform that are needed. The platform which is scalable has an allocation middleware, a message manager directed to data and a delivery planner. The allocation middleware delimits the servers that take part of the execution, keeps safe the information which is shared by everyone and guarantees the integrity of the information against servers down. The message manager facilitates communication between distributed components by decoupling the components of the application based on the publisher/subscriber paradigm. By the end, the delivery planner delivers the job load equilibrium between the prosecution resources available. The platform has been implemented based on technologies developed within the Apache project for Big Data: Zookeeper as distribution middleware and Kafka as messaging manager and delivery planner. It has been used the simulator P3SimMast like a example of the application. This simulator assess the planning of real and complex time systems and it has been executed above different alternative set up of the platform.