Adaptación de portal web para ejecución de trabajos de machine learning en clouds híbridos

Abstract

RESUMEN: En la presente memoria se expone el trabajo que se ha realizado para adaptar el portal web DEEP Training Dashboard para la ejecución de trabajos de machine learning en clouds híbridos. Este portal se compone de un marketplace que permite a los usuarios acceder a diversos módulos de inteligencia artificial y aprendizaje, con el propósito de ejecutarlos con diversos experimentos o entrenarlos con sus propios datos. El portal también tiene un panel en el que el usuario puede subir sus propios módulos para entrenar, y controlar las ejecuciones que ya ha realizado o que están en progreso. Este proyecto tiene como objetivo mejorar la funcionalidad de este portal ya existente, añadiendo una base de datos y páginas que puedan ayudar al usuario a analizar las ejecuciones de trabajos de machine learning de una manera más exhaustiva. Para ello, una de las mejoras que se han implementado ha sido añadir la posibilidad de distribuir las ejecuciones de los distintos modelos en experimentos con características similar es, a gusto del usuario, para, por ejemplo, realizar pruebas con los mismos datos en modelos distintos. Al comienzo del proyecto, la aplicación web hacía uso de un serv1c10 existente, llamado DEEP PaaS Orchestrator, para mostrar a los usuarios los datos de sus ejecuciones, pero mostraba una lista demasiado amplia y a bajo nivel, que no es lo ideal para cierto tipo de usuarios. Este trabajo se enfoca en mejorar esa interacción con el usuario para poder mostrarle solamente los datos interesantes en relación con los trabajos de machine learning que se estén realizando.

ABSTRACT: This paper focuses on the work that has been performed to adapt the web portal DEEP Training Dashboard to the correct execution of machine learning jobs in hybrid clouds. This portal holds a marketplace that allows the users to access several different Artificial Intelligence and Machine Learning modules, with the purpose of executing them with different experiments or train them with their own data. The portal also has a dashboard in which the user can upload their own modules to train, and control the executions that they have already performed or that are currently in progress. This project has the goal to enhance the functionality of this already existing portal, adding a database and pages that could help the user analyze the machine learning jobs' executions in a more exhaustive manner. To this extent, one of the improvements that have been added is to develop the possibility to distribute the executions of the different models in experiments with alike features, to the user's taste, allowing them to try the same datasets in different models, for example. At the start of the project, the web application adopted an already existing service, called DEEP PaaS Orchestrator, to show the users the data obtained from their executions, but it delivered a list that was too large and too low-level, which is not ideal for a certain kind of user. This paper sums up the work that has been done to improve that interaction with the user, aiming to be able to show them only the interesting data in relation to the machine learning jobs they were running at the moment.