Aplicación de modelos grandes de lenguaje para la evaluación de problemas de programación

Abstract

Muchos de los avances de la tecnología no serían posibles sin la capacidad de programar, una habilidad en la que cada vez más gente quiere adentrarse aprendiendo algún lenguaje de programación. Una de las partes esenciales de la enseñanza de programación es la evaluación de códigos de los alumnos, en lo que es de gran ayuda el uso de correctores automáticos. Con la apertura de los MOOCs (Massive Open Online Courses), en donde cientos de personas se enrolan al mismo tiempo, el aumento de la carga de trabajo para los profesores ha provocado que la necesidad de una evaluación automática sea más urgente que nunca. No obstante, en la actualidad existe una enorme variedad de enfoques a disposición del profesorado para aliviar esta tarea de corrección y evaluación. En los años más recientes, los Modelos de Lenguaje Grandes (LLM) han avanzado hasta tal punto que son capaces de realizar tareas de una manera difícilmente distinguible de lo que haría un humano. Por lo tanto, el paso lógico es aplicar esta nueva tecnología a los correctores automáticos para tratar de sustituir la evaluación que realizaría un técnico humano por una realizada por estos modelos de lenguaje. En este Trabajo de Fin de Máster se ahondará en esta idea, con el objetivo de conseguir un corrector automático a través de los LLMs, aplicando conceptos como la regresión logística para consolidar el proyecto.

A lot of technological advances would not be posible without coding, a skill that more and more people want to learn. One of the most essential parts of teaching programming is evaluating the code made by students, where the use of automatic graders is very helpful. With the creation of MOOCs (Massive Open Online Courses), where hundreds of students sign up at the same time, the increase in workload for the teachers has made need for an automatic evaluation greater than ever. Nevertheless, nowadays there exists a wide variety of ways in the toolkit of the teachers to ease the work of correction and evaluation. In recent years, Large Language Models (LLM) have advanced so much that they are able to perform tasks in a way that is not really distinguishable from what a human would do. For that reason, the logical step is to apply this new technology to automatic graders, so we can substitute the evaluation made by human grader to an estimated one made by these language models. In this Master Thesis we will explore this idea, trying to craft an automatic grader based upon it, applying other concepts like logistic regression to consolidate the project.