Integrating Multiple Classifiers in a GA-based Inductive Learning Environment

유전 알고리즘 기반 귀납적 학습 환경에서 분류기의 통합

  • 김영준 (상명대학교 소프트웨어학부)
  • Published : 2006.03.01

Abstract

We have implemented a multiclassifier learning approach in a GA-based inductive learning environment that learns classification rules that are similar to rules used in PROSPECTOR. In the multiclassifier learning approach, a classification system is constructed with several classifiers that are obtained by running a GA-based learning system several times to improve the overall performance of a classification system. To implement the multiclassifier learning approach, we need a decision-making scheme that can draw a decision using multiple classifiers. In this paper, we introduce two decision-making schemes: one is based on combining posterior odds given by classifiers to each class and the other one is a voting scheme based on ranking assigned to each class by classifiers. We also present empirical results that evaluate the effect of the multiclassifier learning approach on the GA-based inductive teaming environment.

PROSPECTOR에서 사용한 규칙 형태의 분류 규칙을 습득하기 위한 유전 알고리즘 기반 귀납적 학습 환경에서 다중 분류기 학습법을 구현하였다. 다중 분류기 학습법은 주어진 사례 집합에 대해 다수의 분류기를 습득한 후 이를 이용하여 분류 시스템을 구축함으로써 시스템의 성능을 향상시키는 기법이다. 다중 분류기 학습법의 구현을 위해서는 분류기의 분류 결과를 취합하여 최종 결론을 도출해 내기 위한 기법이 필요하다. 본 논문에서는 각각의 클래스에 대해 분류기가 제공하는 사후 가능성을 취합하여 결론을 도출해 내는 기법과 순위에 기반을 둔 보우팅 기법을 소개하고 다중 분류기 학습법이 유전 알고리즘 기반 귀납적 학습 환경에 미치는 영향을 다수의 사례 집합을 이용하여 평가하였다.

Keywords

References

  1. F. Esposito, G. Semeraro, N. Fanizzi, and S. Ferilli, 'Multistrategy Theory Revision: Induction and Abduction in INTHELEX,' Machine Learning, 38, pp. 133-156, 2000 https://doi.org/10.1023/A:1007638124237
  2. C. Giraud-Carrier, R. Vilalta, and P. Brazdil, 'Introduction to the Special Issue on Meta-Learning,' Machine Learning, 54(3), pp. 187-193, 2004 https://doi.org/10.1023/B:MACH.0000015878.60765.42
  3. G. Ratsch, M. K. Warmuth,, 'Maximizing the margin with boosting,' Annual Conference on Computational Learning Theory, LNAI 2375, pp. 334-350, 2002
  4. R. L. Major and C. T. Ragsdale, 'An aggregation approach to the classification problem using multiple prediction experts,' Information Processing and Management, 36, pp. 683-696, 2000 https://doi.org/10.1016/S0306-4573(99)00069-2
  5. M. Srinivas and L. M. Parnaik, 'Genetic algorithms: a survey,' IEEE Computer, Vol. 27, pp. 17-26, June 1994
  6. G. Roberts, 'Dynamic planning for classifier systems,' in Proc. 5th Int. Conf. Genetic Algorithms, pp. 231-237, 1993
  7. C. K. Chiang, H. Y. Chung, and J. J. Lin, 'A self-learning fuzzy logic controller using genetic algorithms with reinforcements,' IEEE Trans. Fuzzy Systems, Vol. 5, pp. 460-467, 1997 https://doi.org/10.1109/91.618280
  8. H. Ishibuchi and T. Nakashima, 'Improving the Performance of Fuzzy Classifier Systems for Pattern Classification Problems with Continuous Attributes,' IEEE Transactions on industrial electronics, Vol. 46, No. 6, pp. 1057 - 1068, December 1999 https://doi.org/10.1109/41.807986
  9. R. Duda, P. Hart and J. Nilsson, 'Subjective Bayesian methods for rule-based inference systems,' in Proc. National Computer Conference, pp. 1075 - 1082, 1976