The Korean Journal of Applied Statistics (응용통계연구)

The Korean Statistical Society (한국통계학회)
권호 표지
DOI QR코드

DOI QR Code

An Empirical Comparison of Bagging, Boosting and Support Vector Machine Classifiers in Data Mining

데이터 마이닝에서 배깅, 부스팅, SVM 분류 알고리즘 비교 분석

  • Published : 2005.07.01
Download PDF
⟨ Previous Next ⟩

Abstract

The goal of this paper is to compare classification performances and to find a better classifier based on the characteristics of data. The compared methods are CART with two ensemble algorithms, bagging or boosting and SVM. In the empirical study of twenty-eight data sets, we found that SVM has smaller error rate than the other methods in most of data sets. When comparing bagging, boosting and SVM based on the characteristics of data, SVM algorithm is suitable to the data with small numbers of observation and no missing values. On the other hand, boosting algorithm is suitable to the data with number of observation and bagging algorithm is suitable to the data with missing values.

데이터 마이닝에서 데이터를 효율적으로 분류하고자 할 때 많이 사용하고 있는 알고리즘을 실제 자료에 적용시켜 분류성능을 비교하였다. 분류자 생성기법으로는 의사결정나무기법 중의 하나인 CART, 배깅과 부스팅 알고리즘을 CART 모형에 결합한 분류자, 그리고 SVM 분류자를 비교하였다. CART는 결과 해석이 쉬운 장점을 가지고 있지만 데이터에 따라 생성된 분류자가 다양하여 불안정하다는 단점을 가지고 있다. 따라서 이러한 CART의 단점을 보완한 배깅 또는 부스팅 알고리즘과의 결합을 통해 분류자를 생성하고 그 성능에 대해 평가하였다. 또한 최근 들어 분류성능을 인정받고 있는 SVM의 분류성능과도 비교?평가하였다. 각 기법에 의한 분류 결과를 가지고 의사결정나무를 형성하여 자료가 가지는 데이터의 특성에 따른 분류 성능을 알아보았다. 그 결과 데이터의 결측치가 없고 관측값의 수가 적은 경우는 SVM의 분류성능이 뛰어남을 알 수 있었고, 관측값의 수가 많을 때에는 부스팅 알고리즘의 분류성능이 뛰어났으며, 데이터의 결측치가 존재하는 경우는 배깅의 분류성능이 뛰어남을 알 수 있었다.

Keywords

References

  1. 김현중 (2004). Support Vector Machine 의 이론과 용용, 한국통계학회, <추계 학술발표회논문집>, 1-1
  2. 이영섭, 오현정 (2003). 데이터 마이닝에서 배깅과 부스팅 알고리즘 비교 분석, 한국통계학회, <춘계 학술발표회 논문집 >, 97-102
  3. Blake, C.L. and Merz, C.J. (1998). UCI Repository of machine learning databases [http:// www.ics.uci.edu/ mlearn/MLRepository.html]. Irvine, CA: University of California, Department of Information and Computer Science
  4. Breiman, L.(1996). Bagging predictor, Machine Learning, 26, 123-140
  5. Breiman, L., Friedman, J. H. and Olshen, R A. and Stone C. J. (1984). Classification and Regression Trees, Chapman and Hall
  6. Burger, C. J. C(1998). A tutorial on support vector machines for pattern recognition, Bell Laboratories, Lucent Technoloties
  7. Cristianini, N. and Shawe-Taylor, J.(2000). Support Vector Machines and Other Kernel-based Learning Methods, Cambridge University Press
  8. Efron, B. and Tibshirani, R (1993). An Introduction to the Bootstrap, Chapman and Hall
  9. Freund, Y. (1995). Boosting a weak learning algorithm by majority, Information and Computation, 121, 256-285 https://doi.org/10.1006/inco.1995.1136
  10. Kass, G.V. (1980). An exploratory technique for investing large quantities of categorical data, Applied Statistics, 119-127
  11. Kearns M. and Valiant. L,G (1994). Cryptographic limitations on learning boolean formulae and finite automata, Joural of the Association for Computing Machinery, 41, 67-95 https://doi.org/10.1145/174644.174647
  12. Optiz D. and Maclin R.A.(1999). Popular ensemble methods: An empirical study, Journal of Artificial Intelligence Research, 11, 169-198
  13. Platt J. and Cristianini, N. and Shawe-Taylor, J.(2000). Large margin DAGs for multiclass classification, Advances in Neural Information Processing Systems, 12, 547-553
  14. Quinlan, J.R (1993), C4.5, Programs for Machined Learning, Morgan Kaufmann, San Mateo
  15. Saunders, C. (1998), Support vector machine user manual, RHUL Technical Report
  16. Schapire, R (1990). The strength of weak learnability, Machine Learning, 5, 197-227
  17. Weston, J. and Watkins C. (1998). Multi-class support vector machines, Technical Report CSD-TR-98-04, Royal Holloway
  18. Valiant, L.C. (1984). A theory of the learnable, Communication of the ACM, 27, 1134-1142 https://doi.org/10.1145/1968.1972
  19. Vapnik, V. (1979). Estimation of Dependences Based on Empirical Data, Nauka. (English translation Springer Verlag, 1982)
  20. Vapnik, V. (1995). The Nature of Statistical Learning Theory, Springer Verlag

Cited by

  1. Application of Boosting Regression Trees to Preliminary Cost Estimation in Building Construction Projects vol.2015, 2015, https://doi.org/10.1155/2015/149702
  2. Application of AdaBoost to the Retaining Wall Method Selection in Construction vol.23, pp.3, 2009, https://doi.org/10.1061/(ASCE)CP.1943-5487.0000001