Espacios de Hilbert con núcleo reproductor: el Teorema del Representante. Interpretación del representante como aproximante en aprendizaje

Abstract

RESUMEN: En este manuscrito presentamos una prueba completa y autocontenida de uno de los principales enunciados matemáticos en lo que se conoce como el \kernel trick" en aprendizaje computacional: el Teorema del Representante. Hemos escogido la versión más completa del enunciado de este resultado por R. Herbrich, B. Scholkopf y A. J. Smola, publicado en 2001, incluyendo funciones de regularización. Este enunciado requiere la introducción de espacios de Hilbert con núcleo reproductor (siglas RKHS), introducido por J. Mercer en 1909 y desarrollado por N. Aronszajn en 1950. El teorema principal de la teoría de Aronszajn es la caracterización de RKHS en un enunciado conocido como el Teorema de Aronszajn-Moore, el cual también probamos. Con estas herramientas probamos finalmente el Teorema del Representante en espacios de Hilbert con núcleo reproductor de R. Herbrich, B. Scholkopf y A. J. Smola. Además, probamos un resultado de A. Argyriou, C. A. Micchelli y M. Pontil de 2009 que caracteriza las funciones de regularización de Tikhonov admisibles en el Teorema del Representante. Por otro lado, aunque se dice que el Teorema del Representante es usado como herramienta en Aprendizaje, no hemos encontrado una forma precisa de enlazar este enunciado con los fundamentos del Aprendizaje establecidos por F. Cucker y S. Smale en 2003. Por ello, hemos rellenado ese hueco con nuestros propios enunciados dando una interpretación del representante como un aproximante de funciones de regresión en el contexto de los fundamentos del aprendizaje de Cucker y Smale. Para conseguir estos objetivos, primero introducimos conceptos y resultados conocidos sobre la teoría de espacios de Hilbert (Capítulo 1). Luego, establecemos los fundamentos de los espacios de Hilbert con núcleo reproductor, probamos el Teorema de Aronszajn-Moore y, finalmente, el Teorema del Representante (Capítulo 2). Finalmente, enlazamos este teorema y su aplicación en aprendizaje aportando un resultado original que prueba que el \output" del Teorema del Representante es una buena aproximación de la función de regresión deseada (Capítulo 3).

ABSTRACT: In this manuscript we present a complete and self-contained proof of the main mathematical statement that supports what is known as the \kernel trick" in computational learning: the Representer Theorem. We have chosen the more complete statement of this result due to B. Scholkopf, R. Herbrich and A. J. Smola, published on 2001, involving regularization functions. This statement requires an introduction to reproducing kernel Hilbert spaces (RKHS for short), introduced by J. Mercer in 1909 and strongly developed by N. Aronszajn in 1950. The main theorem of Aronszajn theory is the characterization of RKHS in a statement known as the Aronszajn-Moore Theorem, which we also prove in detail. With these tools we may finally prove the Representer Theorem in reproducing kernel Hilbert spaces of R. Herbrich, B. Scholkopf and A. J. Smola. Additionally, we prove a result by A. Argyriou, C. A. Micchelli and M. Pontil of 2009 which characterizes the Tikhonov regularization functions admissible in a Representer Theorem. On the other hand, although the Representer Theorem is claimed to be a used tool in Learning, we have not found a precise form to link this statement with the foundations of Learning established by F. Cucker and S. Smale in 2003. Thus, we just filled the gap with our own statements by giving an interpretation of the representer as an approximant of regression functions within the context of Cucker-Smale foundations of learning. In order to achieve these goals, we first introduce well-known concepts and results on Hilbert spaces theory (Chapter 1). Then, we establish the foundations of reproducing kernel Hilbert spaces, we prove Aronszajn-Moore Theorem and, finally, the Representer Theorem (Chapter 2). Finally, we link this theorem and its application in learning by giving an original result which proves that the Representer Theorem's \output" is a good approximation of our desired regression function (Chapter 3).