A Study on Real-time Tracking Method of Horizontal Face Position for Optimal 3D T-DMB Content Service

지상파 DMB 단말에서의 3D 컨텐츠 최적 서비스를 위한 경계 정보 기반 실시간 얼굴 수평 위치 추적 방법에 관한 연구

  • Kang, Seong-Goo (School of Information & Communication Engineering, Sungkyunkwan University) ;
  • Lee, Sang-Seop (Samsung Techwin) ;
  • Yi, June-Ho (School of Information & Communication Engineering, Sungkyunkwan University) ;
  • Kim, Jung-Kyu (School of Information & Communication Engineering, Sungkyunkwan University)
  • 강성구 (성균관대학교 정보통신공학부) ;
  • 이상섭 (삼성테크윈) ;
  • 이준호 (성균관대학교 정보통신공학부) ;
  • 김중규 (성균관대학교 정보통신공학부)
  • Received : 2011.01.31
  • Published : 2011.11.25

Abstract

An embedded mobile device mostly has lower computation power than a general purpose computer because of its relatively lower system specifications. Consequently, conventional face tracking and face detection methods, requiring complex algorithms for higher recognition rates, are unsuitable in a mobile environment aiming for real time detection. On the other hand, by applying a real-time tracking and detecting algorithm, we would be able to provide a two-way interactive multimedia service between an user and a mobile device thus providing a far better quality of service in comparison to a one-way service. Therefore it is necessary to develop a real-time face and eye tracking technique optimized to a mobile environment. For this reason, in this paper, we proposes a method of tracking horizontal face position of a user on a T-DMB device for enhancing the quality of 3D DMB content. The proposed method uses the orientation of edges to estimate the left and right boundary of the face, and by the color edge information, the horizontal position and size of face is determined finally to decide the horizontal face. The sobel gradient vector is projected vertically and candidates of face boundaries are selected, and we proposed a smoothing method and a peak-detection method for the precise decision. Because general face detection algorithms use multi-scale feature vectors, the detection time is too long on a mobile environment. However the proposed algorithm which uses the single-scale detection method can detect the face more faster than conventional face detection methods.

모바일 단말과 같은 임베디드 환경은 범용 컴퓨터에 비하여 연산 성능이 현저히 낮다. 따라서 기존 얼굴 및 추적 알고리즘은 모바일 환경에서 적용하기에는 복잡도가 높아 검출 시간이 오래 걸리기 때문에 모바일 단말에서의 실시간 적용에는 적합하지 않다. 모바일 단말에서 실시간 시선 추적은 사용자와 단말 간의 양방향 멀티미디어 서비스를 가능하게 함으로써 단방향 서비스에 비해 고품질의 서비스를 제공할 수 있게 된다. 따라서 모바일 환경에 최적화된 실시간 시선 추적 기법의 개발이 필요하다. 이에 본 논문에서는 지상파 3D DMB 컨텐츠의 품질 향상을 위하여 단말에서 사용자 얼굴의 수평 위치를 실시간으로 추적할 수 있는 기법을 제안한다. 본 논문에서 제안하는 방법은 에지의 방향성을 이용하여 얼굴의 좌/우 경계 지점을 추정하며 컬러 에지 정보에 의하여 얼굴의 수평 위치 및 크기를 최종적으로 판단한다. 소벨 연산 과정에서의 경사도 벡터를 수직 방향으로 크기 투영한 데이터에서 얼굴의 경계 후보 지점들이 선택되며 정확한 판단을 위하여 평활화 방법 및 탐색 방법을 제안하였다. 일반적인 얼굴 검출 알고리즘은 멀티스케일의 특징 벡터를 사용하기 때문에 모바일 환경에서는 검출 시간이 오래 걸리지만 본 알고리즘은 수평 위치 검출이라는 제약 조건 하에서의 단일 스케일에서의 검출 방법이므로 기존 얼굴 검출 방법에 비하여 빠른 검출이 가능하다.

Keywords

References

  1. Y.K. Park, K. Jung, Y. Oh, S. Lee, J.K. Kim, G. Lee, H. Lee, K. Yun, N. Hur, and J. Kim "Depth-image-based rendering for 3DTV service over T-DMB," Signal Processing: Image Communication, Vol. 24, No. 1-2, pp. 122-136, Jan. 2009. https://doi.org/10.1016/j.image.2008.10.008
  2. Neil A. Dogson , "Autostereoscopic 3D Displays," Computer, pp. 31-36, Aug. 2005.
  3. Erik Hjelmas, Boon Kee Low, "Face Detection: A Survey," Computer Vision and Image Understanding, Vol. 83, No. 3, pp.236-274, Sep. 2001. https://doi.org/10.1006/cviu.2001.0921
  4. Paul Viola, "Robust Real-Time Face Detection," International Journal of Computer Vision, Vol. 57, No. 2, pp.137-154, 2004.
  5. Chengjun Liu, "A Bayesian discriminating features method for face detection," Pattern Analysis and Machine Intelligence, IEEE Transactions on, Vol. 25, Issue 6, pp. 725-740, Jun. 2003. https://doi.org/10.1109/TPAMI.2003.1201822
  6. J. Canny, "A computational approach to edge detection," IEEE Trans. PAMI, Vol. 8, pp. 679-714, Nov. 1986.
  7. P. Kakumanu, "A survey of skin-color modeling and detection methods," Pattern Recognition, Vol. 40, Issue 3, pp. 1106-1122, Mar. 2007. https://doi.org/10.1016/j.patcog.2006.06.010
  8. Hai Han, Tsuyoshi, T., Nagata, R., "Eye Detection Based On Grayscale Morphology," TENCON '02. Proceedings. 2002 IEEE Region 10 Conference on Computers, Communications, Control and Power Engineering , Vol. 1 , 28-31, Oct. 2002.
  9. 김성훈, 이현수, "피부색 영역의 분할을 통한 후보 검출과 부분 얼굴 분류기에 기반을 둔 얼굴 검출 시스템," 전자공학회논문지, 제47권 CI편 제2호, 11-20쪽, 2010년 3월
  10. CMU Image Database: face (http://vasc.ri.cmu.edu/idb/html/face)
  11. Caltech Faces 1999 Databse (http://www.vision.caltech.edu/html-files/archive.html)