Glasses Removal from Facial Images with Recursive PCA Reconstruction

반복적인 PCA 재구성을 이용한 얼굴 영상에서의 안경 제거

  • 오유화 (LG전자 정보통신 CDMA 단말연구소) ;
  • 안상철 (한국과학기술연구원 영상미디어연구센) ;
  • 김형곤 (한국과학기술연구원 영상미디어연구센) ;
  • 김익재 (한국과학기술연구원 영상미디어연구센) ;
  • 이성환 (고려대학교 컴퓨터학과)
  • Published : 2004.05.01

Abstract

This paper proposes a new glasses removal method from color frontal facial image to generate gray glassless facial image. The proposed method is based on recursive PCA reconstruction. For the generation of glassless images, the occluded region by glasses should be found, and a good reconstructed image to compensate with should be obtained. The recursive PCA reconstruction Provides us with both of them simultaneously, and finally produces glassless facial images. This paper shows the effectiveness of the proposed method by some experimental results. We believe that this method can be applied to removing other type of occlusion than the glasses with some modification and enhancing the performance of a face recognition system.

본 논문은 칼라의 정면 얼굴 영상으로부터 흑백의 안경 제거 영상을 얻을 수 있는 반복적인 PCA(Principal Component Analysis) 재구성 방법에 대해 제안한다. 제안된 방법은 먼저 칼라의 입력 영상으로부터 색상 정보와 형태 정보를 이용하여 일정한 크기의 흑백 영상으로 정규화 한다. 정규화된 얼굴 영상에서 반복적인 PCA 재구성 과정을 통해 안경에 의한 오클루젼 영역을 찾고 동시에 이를 보정할 수 있는 재구성된 영상을 생성한다. 또한 이들 결과 영상들을 이용하여 자동으로 자연스러운 안경 제거 영상을 만들어준다. 제안된 방법을 가지고 실제 안경이 있는 영상들에 적용한 결과 대부분 입력 영상과 유사하면서도 자연스러운 안경 제거 영상을 얻을 수 있었다. 본 논문에서 제안하는 방법은 보완을 통해 다른 오클루젼 문제를 해결하는데에서도 다양하게 응용될 수 있고, 자동 얼굴 인식 시스템의 인식 효율을 높이는 데 충분히 기여할 수 있으리라 기대한다.

Keywords

References

  1. R.Chellappa, C.L. Wilson, and S. Sirohey, 'Human and Machine Recognition of Faces : A Survey,' Proc. IEEE, Vol. 83, No.5, pp. 705-740, May 1995 https://doi.org/10.1109/5.381842
  2. 이성환, 유명헌, 박정선, 이상웅, 최형철, '얼굴기반 생체인식 기술의 현황과 전망,' 정보과학회지, 제19권 제7호, 2001년 7월, pp.22-31
  3. Z.Jing and R. Mariani, 'Glasses Detection and Extraction by Deformable Contour,' In Proc. of ICPR2000, pp. 933-936, 2000 https://doi.org/10.1109/ICPR.2000.906227
  4. A. Lanitis, C. J. Taylor, and T. F. Cootes, 'Automatic Interpretation and Coding of Face Images Using Flexible Models,' IEEE Tr. on Pattern Analysis and Machine Intelligence, Vol. 19, No.7, pp. 743-756, July 1997 https://doi.org/10.1109/34.598231
  5. Y. Saito, Y. Kenmochi and K. Kotani, 'Estimation of eyeglassless facial images using principal component analysis,' In Proc. of ICIP, Vol. 4, pp. 197-201, Oct. 1999 https://doi.org/10.1109/ICIP.1999.819578
  6. 김진우, 고한석, 안상철, 김형곤, '2차원 영상 기반 3차원 개인 얼굴 모델 생성 및 애니메이션,' 한국 방송공학회 학술대회, pp. 15-20, Nov. 1999
  7. H. G. Kim, N. H. Kim, and S. C. Ahn, 'Skin Region Extraction Using Moving Color Technique,' IEEE Int'l Workshop on Intelligent Signal Processing and Communication Systems (ISPACS'98), pp. 73-77, Nov. 1998
  8. S. H. Kim, N. H. Kim, S. C. Ahn . and H. G. Kim, 'Object Oriented Face Detection Using Range and Color Information,' IEEE Int'l Conf. on Automatic Face and Gesture Recognition (FG'98), pp, 76-81, Apr. 1998 https://doi.org/10.1109/AFGR.1998.670928
  9. M. Turk and A. Pentland, 'Eigenfaces for recognition,' Journal of Cognitive Neuroscience, Vol. 12, No.1, pp. 71-86, 1991
  10. W. Zhao, R. Chellappa, and A. Krishnaswamy, 'Discriminant Analysis of Principal Components for Face Recognition,' IEEE Int'l Conf. on Automatic Face and Gesture Recognition (FG'98), pp. 336-341, Apr. 1998 https://doi.org/10.1109/AFGR.1998.670971
  11. P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman, 'Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection,' IEEE Tr. on Pattern Analysis and Machine Intelligence, Vol. 19, No.7, pp. 711-720, July 1997 https://doi.org/10.1109/34.598228
  12. http://cvc.yale.edu/
  13. A. Martinez and R. Benavente, 'the AR face database,' CVC Tech. Report #24, 1998