Effectiveness of decomposition algorithms for multi-class classification problems
Abstract
Problem predykcji etykiety klasy (grupy, populacji) na podstawie obserwacji wektora cech
jest nazywany klasyfikacją, analizą dyskryminacyjną lub uczeniem się pod nadzorem. Zbiór
etykiet składa się z K > 2 elementów w przypadku zagadnień wieloklasowych oraz z K = 2
elementów w przypadku zagadnień dwuklasowych (binarnych). Ponieważ zagadnienia dwuklaso-
we są z reguły o wiele prostsze od zagadnień wieloklasowych (co więcej, niektóre algorytmy
klasyfikacyjne dają się zastosować jedynie w przypadku dwuklasowym) wielu autorów proponuje
dekompozycje zagadnień wieloklasowych do zagadnień binarnych. Do szczególnie znanych
algorytmów tego typu należą: one-per-class (OPC), pairwise coupling (PWC) oraz error-correcting
output codes (ECOC).
Dualnym do zagadnienia dekompozycji jest zagadnienie łączenia informacji uzyskanych
z klasyfikatorów binarnych. Klasyczne algorytmy bazują na minimalizacji odległości Hamminga,
technice głosowania lub sumowania prawdopodobieństw a posteriori.
W pracy porównano różne algorytmy dekompozycyjne oraz zarówno klasyczne jak i nowe
metody łączenia informacji z klasyfikatorów binarnych. Wyniki tych porównań wskazują
jednoznacznie, że zwłaszcza w przypadku „niestabilnych” procedur klasyfikacyjnych takich jak
drzewa klasyfikacyjne czy sieci neuronowe, poza uproszczeniem samych procedur uzyskujemy
również znaczną poprawę jakości klasyfikacji. Stąd metody te zaliczyć można do technik
wzmacniania klasyfikatorów.