Effectiveness of decomposition algorithms for multi-class classification problems

Abstract

Problem predykcji etykiety klasy (grupy, populacji) na podstawie obserwacji wektora cech jest nazywany klasyfikacją, analizą dyskryminacyjną lub uczeniem się pod nadzorem. Zbiór etykiet składa się z K > 2 elementów w przypadku zagadnień wieloklasowych oraz z K = 2 elementów w przypadku zagadnień dwuklasowych (binarnych). Ponieważ zagadnienia dwuklaso- we są z reguły o wiele prostsze od zagadnień wieloklasowych (co więcej, niektóre algorytmy klasyfikacyjne dają się zastosować jedynie w przypadku dwuklasowym) wielu autorów proponuje dekompozycje zagadnień wieloklasowych do zagadnień binarnych. Do szczególnie znanych algorytmów tego typu należą: one-per-class (OPC), pairwise coupling (PWC) oraz error-correcting output codes (ECOC). Dualnym do zagadnienia dekompozycji jest zagadnienie łączenia informacji uzyskanych z klasyfikatorów binarnych. Klasyczne algorytmy bazują na minimalizacji odległości Hamminga, technice głosowania lub sumowania prawdopodobieństw a posteriori. W pracy porównano różne algorytmy dekompozycyjne oraz zarówno klasyczne jak i nowe metody łączenia informacji z klasyfikatorów binarnych. Wyniki tych porównań wskazują jednoznacznie, że zwłaszcza w przypadku „niestabilnych” procedur klasyfikacyjnych takich jak drzewa klasyfikacyjne czy sieci neuronowe, poza uproszczeniem samych procedur uzyskujemy również znaczną poprawę jakości klasyfikacji. Stąd metody te zaliczyć można do technik wzmacniania klasyfikatorów.