Regresión mediante la combinación de modelos seleccionados a partir de métodos de remuestreo y procedimientos de comparación múltiples

Résumé

El objetivo de esta tesis es diseñar un modelo para aproximar el comportamiento de un sistema que viene definido par una función con forma paramétrica desconocida de la que sólo conocemos un conjunto de observaciones, Además, la relación entre los valores de entrada y de salida del sistema no suele ser de tipo determinista, pues normalmente existe ruido en las salidas. El procedimiento habitual a la hora de modelar el sistema consiste en seleccionar de entre un conjunto de modelos candidatos aquel modelo que presenta una mayor capacidad de generalización, es decir, la capacidad de estimar las salidas correctas para valores de entrada no utilizados durante el proceso de generación del modelo, pero que pertenecen a la misma población que el conjunto de aprendizaje. Los tres tipos de métodos más utilizados en la literatura sobre selección de modelos son los basados en el contraste de hipótesis (sólo estimación de parámetros), en la penalización de la complejidad del modelo y, finalmente, los basados en técnicas de remuestreo. Sin embargo, la estrategia de seleccionar el mejor modelo entre un conjunto de modelos candidatos descartando los demás no es la óptima, pues presenta inconvenientes (pérdida del esfuerzo, se descarta información útil contenida en los modelos rechazados, ...). Para superar estos inconvenientes, en los años 90 comienza a plasmarse la idea de combinar, en lugar de seleccionar, modelos para mejorar la capacidad de generalización del meta-modelo resultante. En la literatura sobre el tema aparecen multitud de métodos para generar y combinar modelos. En esta tesis nos centraremos en un tipo de métodos, los métodos conjunto o ensembles, cuyas características principales son que todos los modelos han sido generados a partir del mismo conjunto de entrenamiento y trabajan en paralelo. Dado un valor de entrada, todos los modelos producen una salida apra esa entrada. Estas salidas son recibidas por