Redes Neuronales con función de Activación racional: función de crecimiento y Erzeugungsgrad

Abstract

RESUMEN: A primera vista el Aprendizaje Computacional y la Geometría Algebraica parecen dos ámbitos de la matemática poco relacionados. Sin embargo, este manuscrito se dedica a buscar sinergias entre ambos campos. En primer lugar, estudiamos los fundamentos del Aprendizaje Computacional, para lo cual probamos el Teorema de Vapnik-Chervonenkis, para muchos considerado el teorema fundamental del área. Este teorema introduce el concepto de función de crecimiento, del cual se necesita una cota superior que permita que el aprendizaje funcione. El Lema de Perles-Sauer-Shelah nos proporciona una interesante cota, en la cual introduce el término dimensión VC. Este término es complicado de computar en la práctica, al trabajar con conjuntos de funciones complejas. El resto de trabajo se dedica a buscar una cota original para la función de crecimiento. Buscamos una cota que use parámetros conocidos. Nos restringimos al caso de las redes neuronales con función de activación racional. Para buscar tal cota, haremos uso de herramientas proporcionadas por la Geometría Algebraica. Primero, estudiamos las terminologías y conceptos básicos de la Geometría Algebraica, haciendo especial hincapié en la extensión de la noción de grado a los conjuntos constructibles. A continuación, definimos el concepto de red neuronal. Estudiando los conjuntos constructibles formados por las funciones evaluadas por la red neuronal, llegamos a la cota superior de la función de crecimiento que buscábamos. Esta cota usa parámetros conocidos, como lo son el grado de la función racional usada como función de activación o la talla y profundidad de la red.

ABSTRACT: Machine Learning and Algebraic Geometry seem to be two non-related mathe matical fields. However, this manuscript is devoted to seek synergies between both fields. First, we study the fundamentals of Machine Learning, proving the Vapnik-Chervonenkis Theorem, considered the fundational theorem of Machine Learning. It introduces the concept of growth function. In order to ensure learnability, this growth function needs to be upperly bound. The Perles-Sauer-Shelah’s Lemma provides one interesting and useful upper bound of the growth function. Nevertheless, it uses the concept of VC dimension, which is a concept hard to compute in practice. The rest of the manuscript is aimed at finding another upper bound for the growth function of classifiers generated by neural networks with rational activation function. We want this bound to use exclusively values known to the “learner”. Algebraic Geometry provides the needed tools to obtain such bound. First, we study the basics of Algebraic Geometry, emphasizing in the extension of the notion of degree to constructible sets. Then we define the concept of neural network, which is a generalization of the test sequences described in the literature. Analyzing the constructible sets composed of the functions evaluated by the neural network, we get to the aimed upper bound of the growth function. This new upper bound uses known parameters, as the degree of the rational function used as activation function and the depth and size of the neural network.