The Journal of the Korea Contents Association (한국콘텐츠학회논문지)

The Korea Contents Association (한국콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

Eye and Mouth Images Based Facial Expressions Recognition Using PCA and Template Matching

PCA와 템플릿 정합을 사용한 눈 및 입 영상 기반 얼굴 표정 인식

  • 우효정 (충북대학교 전자정보대학 정보통신공학부) ;
  • 이슬기 (충북대학교 전자정보대학 정보통신공학부) ;
  • 김동우 (충북대학교 전자정보대학 정보통신공학부) ;
  • 유성필 (충북대학교 전자정보대학 정보통신공학부) ;
  • 안재형 (충북대학교 전자정보대학 정보통신공학부)
  • Received : 2014.05.13
  • Accepted : 2014.11.03
  • Published : 2014.11.28
Download PDF
⟨ Previous Next ⟩

Abstract

This paper proposed a recognition algorithm of human facial expressions using the PCA and the template matching. Firstly, face image is acquired using the Haar-like feature mask from an input image. The face image is divided into two images. One is the upper image including eye and eyebrow. The other is the lower image including mouth and jaw. The extraction of facial components, such as eye and mouth, begins getting eye image and mouth image. Then an eigenface is produced by the PCA training process with learning images. An eigeneye and an eigenmouth are produced from the eigenface. The eye image is obtained by the template matching the upper image with the eigeneye, and the mouth image is obtained by the template matching the lower image with the eigenmouth. The face recognition uses geometrical properties of the eye and mouth. The simulation results show that the proposed method has superior extraction ratio rather than previous results; the extraction ratio of mouth image is particularly reached to 99%. The face recognition system using the proposed method shows that recognition ratio is greater than 80% about three facial expressions, which are fright, being angered, happiness.

본 연구는 PCA와 템플릿 정합을 사용한 얼굴 표정 인식 알고리즘을 제안한다. 먼저 얼굴 영상은 Haar-like feature의 특징 마스크를 사용하여 획득한다. 획득한 얼굴 영상은 눈과 눈썹을 포함하고 있는 얼굴 상위 부분과 입과 턱을 포함하고 있는 얼굴 하위 부분으로 분리하여 얼굴 요소 추출에 용이하게 나눈다. 얼굴 요소 추출은 눈 영상과 입 영상을 추출하는 과정으로 먼저 학습영상으로 PCA를 거쳐 생성된 고유얼굴을 구한다. 고유 얼굴에서 고유 입과 고유 눈을 획득하고, 이를 얼굴 분리 영상과 템플릿 매칭시켜 얼굴요소를 추출한다. 얼굴 요소는 눈과 입이 있으며 두 요소의 기하학적 특징으로 표정을 인식한다. 컴퓨터 모의실험 결과에 따르면 제안한 방법이 기존의 방법보다 추출률이 우수하게 나왔으며, 특히 입 요소의 추출률은 99%에 달하였다. 또 이 얼굴 요소 추출 방법을 표정인식에 적용하였을 때 놀람, 화남, 행복의 3가지 표정의 인식률이 80%를 상회하였다.

Keywords

References

  1. 최명근, 표정변화에 따른 얼굴요소의 특징점 추적에 관한 연구, 연세대학교 대학원 컴퓨터과학과 석사학위논문, 2011.
  2. Hiroshi Sako, Mark Whitehouse, Anthony Smith, and Alistair Sutherland, "Real-Time Facial-Feature Tracking Based on Matching Techniques and Its Applications," IEEE, 1994.
  3. 이희재, "조명과 회전에 강한 LBP 기반의 얼굴 탐지", 한국HCI학회 2014HCI학술대회논문집, pp.171-173, 2014(2).
  4. 강병준, "LDP 기반 비접촉식 지문 인식", 한국멀티미디어학회논문지, 제13권, 제9호, pp.1337-1347, 2010(9).
  5. 방재훈, 이승룡, "감성기반 서비스를 위한 통화 음성 감정인식 방법", 정보과학회논문지, 제41권, 제3호, pp.208-213, 2014.
  6. T. F. Cootes, G. Edwards, and C. Taylor, "Active appearance models," IEEE Trans. on PAMI, Vol.23, No.6, pp.681-685, 2001. https://doi.org/10.1109/34.927467
  7. Pierre Comon, "Independent Component Analysis: a new concept?," Signal Processing, Vol.36, No.3, pp.287-314, 1994. https://doi.org/10.1016/0165-1684(94)90029-9
  8. 송지혜, 신현준, "독립 요소 분석을 이용한 얼굴 표정의 매개변수화", 한국컴퓨터그래픽스학회논문지, 제15권, 제1호, pp.7-15, 2009(3).
  9. D. Gabor, "Theory of Communication," J. IEE, Vol.93, pp.429-459, 1946.
  10. 변원민, "가버 웨이블릿 기반의 개인 고유의 얼굴 특징 추출 기법", 한국정보기술학회 하계학술대회논문집, Vol.C-05, pp.222-227, 2009.
  11. 반세범, 얼굴 특징점의 지각적 위계구조에 기초한 표정인식 신경망 모형, 연세대학교 대학원 심리학과 박사학위논문, pp.11-12, 2001.
  12. Paul VIOLA, "Robust real-time face detection," International Journal of Computer Vision, Vol.57, pp.137-154, 2004. https://doi.org/10.1023/B:VISI.0000013087.49260.fb
  13. 김성호, "LLE 알고리즘을 사용한 얼굴 모션 데이터의 투영 및 실시간 표정제어", 한국콘텐츠학회논문지, 제7권, 제2호, pp.117-124, 2007. https://doi.org/10.5392/JKCA.2007.7.2.117
  14. A. Pentland, B. Moghaddam, T. Starner, and M. Turk, "View-Based and Modular Eigenspaces for Face Recognition," in Proc. IEEE Computer Soc. Conf. on Computer Vision and Patt. Recog, pp.84-91, 1994.
  15. 설태인, "조명분리 고유얼굴에 기반한 조명에 강인한 얼굴 인식", 한국콘텐츠학회논문지, 제9권, 제2호, pp.115-124, 2009. https://doi.org/10.5392/JKCA.2009.9.2.115
  16. 임동훈, 초보자를 위한 OpenCV를 이용한 영상 처리, 자유아카데미, p.230, 2012.
  17. http://www.kasrl.org/jaffe.html.
  18. 우효정, "표정인식을 위한 PCA와 템플릿 정합을 사용한 얼굴 요소 추출", 충북대학교 산업과학기술연구소, 제27권, 제2호, pp.23-27, 2013.
  19. N. Otsu, "A Threshold Selection Method from Gray-Level Histograms," IEEE Trans. on Systems, Man and Cyberneticss, Vol.SMC-9, No.1, pp.62-66, 1979(1).
  20. C. Harris and M. Stephens, "A combined corner and edge detector," Proc. of the 4th Alvey Vision Conference, pp.147-151, 1988.
  21. Terence Sim, Simon Baker, Maan Bsat, "The CMU Pose,Illumination,and Expression (PIE)database," Proceeding of Automatic Faceand Gesture Recognition, 2002.
  22. The AR Face Database, http://rvl1.ecn.purdue.edu/-aleix/aleix_face_DB.html.
  23. 추원국, PCA와 얼굴요소 특징을 결합한 하이브리드 얼굴인식에 대한 연구, 세종대학교 대학원 컴퓨터공학과 석사학위논문, 2012.
  24. 김상준, 표정인식 시스템을 위한 흑백 영상 기반의 얼굴 검색과 특징점 추출, 고려대학교 대학원 메카트로닉스학과 석사학위논문, 2004.
  25. 박성천, 기하학적 특징과 미세 텍스쳐 분포를 이용한 얼굴 검출과 표정 인식 방법, 단국대학교 대학원 석사학위논문, 2010.