DOI QR코드

DOI QR Code

Back-Propagation Neural Network Based Face Detection and Pose Estimation

오류-역전파 신경망 기반의 얼굴 검출 및 포즈 추정

  • 이재훈 (인하대학교 대학원 전자계산공학과) ;
  • 전인자 (인하대학교 대학원 전자계산공학과) ;
  • 이정훈 (인하대학교 대학원 전자계산공학과) ;
  • 이필규 (인하대학교 전자계산공학과)
  • Published : 2002.12.01

Abstract

Face Detection can be defined as follows : Given a digitalized arbitrary or image sequence, the goal of face detection is to determine whether or not there is any human face in the image, and if present, return its location, direction, size, and so on. This technique is based on many applications such face recognition facial expression, head gesture and so on, and is one of important qualify factors. But face in an given image is considerably difficult because facial expression, pose, facial size, light conditions and so on change the overall appearance of faces, thereby making it difficult to detect them rapidly and exactly. Therefore, this paper proposes fast and exact face detection which overcomes some restrictions by using neural network. The proposed system can be face detection irrelevant to facial expression, background and pose rapidily. For this. face detection is performed by neural network and detection response time is shortened by reducing search region and decreasing calculation time of neural network. Reduced search region is accomplished by using skin color segment and frame difference. And neural network calculation time is decreased by reducing input vector sire of neural network. Principle Component Analysis (PCA) can reduce the dimension of data. Also, pose estimates in extracted facial image and eye region is located. This result enables to us more informations about face. The experiment measured success rate and process time using the Squared Mahalanobis distance. Both of still images and sequence images was experimented and in case of skin color segment, the result shows different success rate whether or not camera setting. Pose estimation experiments was carried out under same conditions and existence or nonexistence glasses shows different result in eye region detection. The experiment results show satisfactory detection rate and process time for real time system.

얼굴 검출은 디지털화 된 임의의 정지 영상 혹은 연속된 영상으로부터 얼굴 존재유무를 판단하고, 얼굴이 존재할 경우 영상 내 얼굴의 위치, 방향, 크기 등을 알아내는 기술로 정의된다. 이러한 얼굴 검출은 얼굴 인식이나 표정인식, 헤드 제스쳐 등의 기초 기술로서해당 시스템의 성능에 매우 중요한 변수 중에 하나이다. 그러나 영상 내의 얼굴은 표정, 포즈, 크기, 빛의 방향 및 밝기, 안경, 수염 등의 환경적 변화로 인해 얼굴 모양이 다양해지므로 정확하고 빠른 검출이 어렵다. 따라서 본 논문에서는 오류-역전파 신경망을 사용하여 몇가지 환경적 조건을 극복한 정확하고 빠른 얼굴 검출 방법을 제안한다. 제안된 방법은 표정과 포즈, 배경에 무관하게 얼굴을 검출하면서도 빠른 검출이 가능하다. 이를 위해 신경망을 이용하여 얼굴 검출을 수행하고, 검색 영역의 축소와 신경망 계산 시간의 단축으로 검출 응답 시간을 빠르게 하였다. 검색 영역의 축소는 영상 내 피부색 영역의 분할과 차영상을 이용하였고, 주성분 분석을 통해 신경망의 입력 백터를 축소시킴으로써 신경망 수행 시간과 학습 시간을 단축시켰다. 또, 추출된 얼굴 영상에서 포즈를 추정하고 눈 영역을 검출함으로써 얼굴 정보의 사용에 있어 보다 많은 정보를 추출할 수 있도록 하였다. 얼굴 검출 실험은 마할라노비스 거리를 사용하여 검출된 영상의 얼굴 여부를 판정하고, 성공률과 시간을 측정하였다. 정지 영상과 동영상에서 모두 실험하였으며, 피부색 영역의 분할을 사용할 경우 입력 영상의 칼라 설정의 유무에 다른 검출 성공률의 차를 보였다. 포즈 실험도 같은 조건에서 수행되었으며, 눈 영역의 검출은 안경의 유무에 다른 실험 결과를 보였다. 실험 결과 실시간 시스템에 사용 가능한 수준의 검색률과 검색 시간을 보였다.

Keywords

References

  1. Joey Rogers, 'Object-Oriented Neural Networks in C++,' Academic Press, 1997
  2. P. N. Belhueur, J. P. Hespanha, and D. J. Kriegman, 'Eigenfaces vs, Fisherfaces : Recognition Using Class Specific Linear Projection,' IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, No.7, pp.711-720, 1997 https://doi.org/10.1109/34.598228
  3. Kin Choong Yow and Roberto Cipolla, 'Feature-based human face detection,' Image and Vision Computing, Vol.15, No.9, pp.713-735, 1997 https://doi.org/10.1016/S0262-8856(97)00003-6
  4. 김상헌, '칼라 정보와 고유 얼굴을 이용한 복잡한 배경에서의 얼굴 검출', 인하대학교 공학 석사논문, 2000
  5. K. Sung and T. Poggio, 'Example-based Learning for View-based Human Face Detection,' Technical Report A. I. Memo 1521, CBCL Paper 112, MIT, December, 1994
  6. M. Kirby, Dimensional Reduction and Pattern Analysis: an Empirical Approach. Wiley (in Press), 2000
  7. R. J. Qian and T. S. Huang, 'Object detection using hierarchical MRF and MAP estimation,' Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.186-192, 1997 https://doi.org/10.1109/CVPR.1997.609318
  8. Son Lam Phung, Douglas Chai and Abdesselam Bouzcrdoum, 'A Universal and Robust Human Skin Color Model Using Neural Networks,' IEEE, 2001
  9. Rein-Lien Hsu, Mohamed Abdel-Mottaleb, and Anil K. Jain, 'Face Detection in Color Images,' IEEE, 2001
  10. Raphael Feraud, Olivier J. Bernier, Jean-Emmanuel Vaillet. and Michel Collobert, 'A Face and Accurate Face Detector Based on Neural Networks,' IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.23, No.1, January, 2001 https://doi.org/10.1109/34.899945
  11. Richard O. Duda, Peter E. Hart, David G. Stock, Pattern Classification 2nd Edition, Wiley-Intersciencc 2001
  12. Vision Group of Essex University Face Database, 'Description of Libor Spacek's Collection of Facial Images,' http://cswww.essex.ac.uk/allfaces