On Estimation of a Quantity of Base Models with Parametric z and Permutation Tests

Abstract

One of the crucial problems in multiple-model approach of the regression is estimation of optimal number of base models. If the quantity is too low – it increases the prediction error whereas too high number of models increases time and complication of calculations. Unfortunately, the estimation of the quantity of base models based on the analysis of prediction error can lead to its overestimation. This paper proposes a formal approach where the predictions obtained with the models aggregated from different number of base models are compared. In this approach both: parametric and permutation tests were applied with the empirical data from petroleum industry.

Jednym z kluczowych problemów w wielomodelowym podejściu do zagadnienia regresji jest estymacja optymalnej ilości modeli bazowych. Jeśli ich ilość jest zbyt mała – rośnie błąd predykcji, zbyt duża ilość powiększa czas i komplikację obliczeń. Niestety estymacja tej ilości na podstawie analizy błędu predykcji może prowadzić do jej przeszacowania. W artykule proponuje się formalne podejście, w którym porównywane są wyniki prognoz otrzymanych z modeli zagregowanych z różnej liczby modeli bazowych. W tym przypadku wykorzystane zostały zarówno testy parametryczne jak i testy permutacyjne, a jako dane testowe: dane empiryczne wykorzystywane w przemyśle rafineryjnym.