On the usefulness of regularization ideas of estimation: the linear model case

Abstract

Celem artykułu jest pokazanie czytelnikowi użyteczności idei regularyzacji w zmniejszaniu lub dużej redukcji negatywnych skutków występowania złego uwarunkowania danych. Skutki te obserwowano w samym estymatorze metody najmniejszych kwadratów jak i jego statystycznych i numerycznych charakterystykach. Podstawowe analizowane charakterystyki tego estymatora to: MSE, wariancja, próbkowe odchylenie standardowe, próbkowy współczynnik korelacji wielokrotnej (inaczej: współczynnik determinacji), statystyki testu t-Studenta oraz testu F. Zbadano też skutki estymacyjne przeprowadzania takich operacji jak centrowanie, ważenie danych. W celu zmniejszenia negatywnych skutków złego uwarunkowania proponuje się stosowanie estymatorów regulaiyzujących. W omawianym modelu są one zgodne i asymptotycznie normalne.

In the paper we present an analysis of negative effects of ill-condltioning for the performance of LSE. These results will be observed through the behaviour of LSE's variance, MSE, sample standard deviation, sample multiple correlation coefficient., F and t-statistics. We also include some results on ill-conditioning effects induced by data centering, weighting. To overcome those negative effects we propose now versions of regularization criteria for the linear model case. The resultant regularising estimators are consistent and asymptotically normal.