DOI QR코드

DOI QR Code

PCA-based Feature Extraction using Class Information

클래스 정보를 이용한 PCA 기반의 특징 추출

  • 박명수 (서울대학교 전기컴퓨터 공학부, 자동화시스템 공동연구소(ASRI)) ;
  • 나진희 (서울대학교 전기컴퓨터 공학부, 자동화시스템 공동연구소(ASRI)) ;
  • 최진영 (서울대학교 전기컴퓨터 공학부, 자동화시스템 공동연구소(ASRI))
  • Published : 2005.08.01

Abstract

Feature extraction is important to classify data with large dimension such as image data. The representative feature extraction methods lot feature extraction ate PCA, ICA, LDA and MLP, etc. These algorithms can be classified in two groups: unsupervised algorithms such as PCA, LDA, and supervised algorithms such as LDA, MLP. Among these two groups, supervised algorithms are more suitable to extract the features for classification because of the class information of input data. In this paper we suggest a new feature extraction algorithm PCA-FX which uses class information with PCA to extract ieatures for classification. We test our algorithm using Yale face database and compare the performance of proposed algorithm with those of other algorithms.

영상 데이터와 같이 큰 차원을 가지는 입력 자료들을 분류하고자 할 경우, 입력 자료의 차원을 줄일 수 있는 특징을 추출하는 전처리 과정은 매우 중요하다. 특징 추출(feature extraction)을 위해 PCA, ICA, LDA, MLP 등의 다양한 기법들이 개발되었는데 이러한 기법들은 PCA, ICA와 같은 무감독 방식의 기법(unsupervised algorithm)과 LDA, MLP와 같은 감독 방식의 기법(supervised algorithm)으로 구분할 수 있다. 이 중에서, 감독 방식의 경우는 입력 정보와 함께 클래스 정보를 사용하기 때문에 데이터를 분류하기에 더 좋은 특징들을 뽑아낼 수 있다. 본 논문에서는 무감독 방식 기법인 PCA에 기반 하면서도 클래스 정보를 사용하여 자료 분류에 더욱 적합한 특징들을 추출할 수 있는 기법인 PCA-FX를 제안하였다. 제안한 기법에 의해 추출된 특징을 이용할 경우의 인식 성능을, Yale face database를 사용하여 다른 기법들의 성능과 비교하였다.

Keywords

References

  1. K. J. Cios, W. Pedrycz, and R. W. Swiniarski, Data mining methods for knowledge discovery, chapter 9, Kluwer Academic Publishers, 1998
  2. U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, Advances in Knowledge Discovery and Data Mining, AAAI and the MIT Press, 1996
  3. I. T. Joliffe, Principal Component Analysis, Springer Verlag, 1986
  4. A. J. Bell and T. J. Sejnowski, 'An informationmaximization approach to blind separation and blind deconvolution,' Neural Computation, vol. 7, no. 6., June 1995
  5. K. Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press, 2nd edition, 1990
  6. H. Lu, R. Setiono, and H. Liu, 'Effective data mining using neural networks,' IEEE Transaction on Knowledge and Data Engineering, vol. 8, no. 6, Dec. 1996
  7. R. Setiono, and H. Liu, 'A connectionist approach to generating oblique decision trees,' IEEE Transaction on Systems, Man, and Cybernetics - Part B: Cybernetics, vol. 29, no. 3, June 1999
  8. Nojun Kwak and Chong-Ho Choi, ;Feature extraction based on ICA for binary classification problems,' IEEE Transaction on Knowledge and Data Engineering, Vol. 15, No. 6, pp. 1374-1388, Nov. 2003 https://doi.org/10.1109/TKDE.2003.1245279
  9. Nojun Kwak, Chong-Ho Choi, and Narendra Ahuja, 'Face recognition using feature extraction based on independent component analysis,' ICIP2002, Rochester, Sep. 2002
  10. W. Zhao, R. Chellappa and A. Krishnaswamy, 'Discriminant analysis of principal components for face recognition,' Proceedings of 3rd IEEE International Conference on Automatic Face and Gesture Recognition, pp.336-341, April 1998
  11. P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman, 'Eigenfaces vs. fisherfaces: recognition using class specific linear projection,' IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 711-720, July 1997 https://doi.org/10.1109/34.598228