On Some Simulation Procedures for Comparing Nonparametric Methods of Regression

Abstract

Nonparametric methods of regression form a large group of varied and rapidly growing methods. In many situations we have a problem with comparing these methods in order to select one of them to solve the regression problem. We present the simulation procedure for comparing the performance of several competing algorithms of nonparametric regression. This procedure has two stages. In the first one, the ranking of nonparametric models of regression is created. In the second stage, statistical test procedures can be used to test the significance of differences in the performances of models presented in the ranking. The procedure is applied to regression benchmark studies based on real world data.

W artykule przedstawiono symulacyjną procedurę badawczą pozwalającą na porównywanie różnych nieparametrycznych modeli regresji, jak i wybór najlepszego z nich. Zaproponowana procedura przebiega dwuetapowo. W pierwszym etapie tworzony jest ranking modeli regresji, pod względem dokładności predykcji, mierzonej za pomocą błędu średniokwadratowego obliczonego metodą sprawdzania krzyżowego ( MSECV ). Drugi etap analizy ma na celu zbadanie istotności różnic pomiędzy uzyskanymi wartościami MSECV , a tym samym skorygowanie otrzymanych rankingów. Do testowania istotności wspomnianych różnic wykorzystano nieparametryczną statystykę testującą zaproponowaną przez Hothorna. Opisaną procedurę badawczą zastosowano w badaniu empirycznym, dla zbiorów danych standardowo wykorzystywanych do analizowania własności różnych metod regresji.