Combining different types of classifiers

Abstract

Model fusion has proved to be a very successful strategy for obtaining accurate models in classification and regression. The key issue, however, is the diversity of the component classifiers because classification error of an ensemble depends on the correlation between its members. The majority of existing ensemble methods combine the same type of models, e.g. trees. In order to promote the diversity of the ensemble members, we propose to aggregate classifiers of different types, because they can partition the same classification space in very different ways (e.g. trees, neural networks and SVMs).

Łączenie modeli okazało się być bardzo efektywną strategią poprawy jakości predykcji modeli dyskryminacyjnych. Kluczowym zagadnieniem, jak wynika z twierdzenia Turnera i Ghosha (1996), jest jednak stopień różnorodności agregowanych modeli, tzn. im większa korelacja między wynikami klasyfikacji tych modeli, tym większy błąd. Większość znanych metod łączenia modeli, np. RandomForest zaproponowany przez Breimana (2001), agreguje modele tego samego typu w różnych przestrzeniach cech. Aby zwiększyć różnice między pojedynczymi modelami, w referacie zaproponowano łączenie modeli różnych typów, które zostały zbudowane w tej samej przestrzeni zmiennych (np. drzewa klasyfikacyjne i modele SVM). W eksperymentach wykorzystano 5 klas modeli: liniowe i kwadratowe modele dyskryminacyjne, drzewa klasyfikacyjne, sieci neuronowe, oraz modele zbudowane za pomocą metody £-najbliższych sąsiadów (k-NN) i metody wektorów nośnych (SVM). Uzyskane rezultaty pokazują, że modele zagregowane powstałe w wyniku łączenia różnych modeli są bardziej dokładne niż gdy modele składowe są tego samego typu.