Multiple Additive Regression Trees (MART) and their Application

Abstract

Multiple additive regression trees MART is a methodology for trying to solve prediction problems in regression and classification. It’s one of the boosting methods. It was introduced by J. H. Friedman (1999a). Besides accuracy, its primary goal is robustness. It lends to be resistant against outliers, missing values, and the inclusion of potentially large numbers of irrelevant predictor variables that have little or no effect on the response. In this paper the MART algorithm and their applications will be discussed.

Addytywna metoda budowy drzew regresyjnych (MART), została zaproponowana przez J. H. Friedmana w 1999 r. (1999a, b). Jest to jedna z metod agregacyjnych, mająca zastosowanie w regresji i dyskryminacji opierająca się na modelach w postaci drzew. Jej zaletami, poza dokładnością predykcji, jest odporność na wartości oddalone i braki danych. Bardzo dobrze radzi sobie również z dużą liczbą zmiennych objaśniających, wśród których wiele może nie mieć istotnego wpływu na zmienną zależną. W artykule przedstawiona została ogólna idea metod agregacyjnych. Zaprezentowano i omówiono kolejne kroki algorytmu MART, a następnie, dla ilustracji, podany został przykład zastosowania procedury MART dla zbioru danych „Boston”.