Clustering Methods Applied to Reduce the Training Sample Size in Support Vector Machines

Abstract

Support vector machines belong to the group of methods of supervised learning. They generate non-linear models with good generalization abilities. The core of SVMs algorithm is the quadratic program which is solved for obtaining the optimal separating hyperplane. Because finding the solution of this quadratic program is computationally expensive, SVMs are not feasible for very large data sets. As a solution Wang, Wu and Zhang (2005) suggested to combine the AT-means clustering technique with SVMs to reduce the number of support vectors. The paper presents a common approach using K-medoids and compares it with the original SVMs.

Metoda wektorów nośnych jest metodą dyskryminacji generującą nieliniowe modele o dużym stopniu uogólnienia (małych błędach klasyfikacji na zbiorach testowych). Jednak ze względu na dużą złożoność obliczeniową, związaną z koniecznością rozwiązania zadania optymalizacji wypukłej, które jest podstawowym elementem algorytmu metody, stosowanie metody, szczególnie w przypadku zbiorów uczących o dużej liczebności, nie zawsze jest możliwe. Złożoność obliczeniowa algorytmu metody wektorów nośnych zależy przede wszystkim od liczby obserwacji w zbiorze uczącym. Jako rozwiązanie tego problemu Wang, Wu i Zhang zaproponowali pogrupowanie danych ze zbioru uczącego za pomocą taksonomicznej metody AT-średnich i zastosowanie metody wektorów nośnych na dużo mniej licznym zbiorze środków ciężkości tak otrzymanych klas. W artykule przedstawiona została ocena analogicznego podejścia, wykorzystującego do grupowania metodę K-medoidów oraz porównanie z oryginalną metodą wektorów nośnych.