Boosting Regression Models

Abstract

Boosting jest jedną z najlepszych metod agregacji modeli dyskryminacyjnych (Bauer, Kohavi, 1999). Liczne badania empiryczne potwierdzają możliwość znacznej poprawy jakości modeli klasyfikacyjnych, niewiele jednakże wiadomo na temat efektywności tej metody w przypadku modeli regresyjnych. Freund i Schapire (1995), stosując swój algorytm AdaBoost.R, podjęli próbę wykorzystania metody boosting do tego typu zagadnień. Głównym celem artykułu jest prezentacja nowej implementacji metody boosting w regresji, która opracowana została przez Ridgeway’a (2005). W przeprowadzonych eksperymentach zbadany został wpływ wartości podstawowych parametrów tego algorytmu, takich jak np. współczynnik uczenia, czy też liczba iteracji, na jakość modelu zagregowanego.

In a wide variety of classification problems, boosting technique have proven to be very effective method for improving prediction accuracy (Bauer, Kohavi, 1999). While more evidence compiles about the utility of these technique in classification problems, little is known about their effectiveness in regression. Freund and Schapire (1995) gave a suggestion as to how boosting might improve regression models using their algorithm AdaBoost.R. The main aim of this article is to present an application of the new boosting method for regression problems which was introduced by Ridgeway (2005). We will discuss the influence of the main parameters of this algorithm, such as eg. learning rate or number of iterations on the model performance.