Journal of the Institute of Electronics Engineers of Korea SP (대한전자공학회논문지SP)

The Institute of Electronics and Information Engineers (대한전자공학회)
권호 표지

Facial Gaze Detection by Estimating Three Dimensional Positional Movements

얼굴의 3차원 위치 및 움직임 추정에 의한 시선 위치 추적

  • Published : 2002.05.01
Download PDF
⟨ Previous Next ⟩

Abstract

Gaze detection is to locate the position on a monitor screen where a user is looking. In our work, we implement it with a computer vision system setting a single camera above a monitor and a user moves (rotates and/or translates) his face to gaze at a different position on the monitor. To detect the gaze position, we locate facial region and facial features(both eyes, nostrils and lip corners) automatically in 2D camera images. From the movement of feature points detected in starting images, we can compute the initial 3D positions of those features by camera calibration and parameter estimation algorithm. Then, when a user moves(rotates and/or translates) his face in order to gaze at one position on a monitor, the moved 3D positions of those features can be computed from 3D rotation and translation estimation and affine transform. Finally, the gaze position on a monitor is computed from the normal vector of the plane determined by those moved 3D positions of features. As experimental results, we can obtain the gaze position on a monitor(19inches) and the gaze position accuracy between the computed positions and the real ones is about 2.01 inches of RMS error.

시선 위치 추적이란 모니터상에 사용자가 쳐다보고 있는 지점을 파악해 내는 기술이다 이 논문에서는 컴퓨터 비젼 방법을 이용하여 사용자가 모니터 상에 어느 지점을 쳐다보고 있는지를 파악(시선 위치 추적)하는 새로운 방법을 제안한다. 시선위치를 파악하기 위해 본 논문에서는 얼굴 영역 및 얼굴 특징점(양 눈, 양 콧구멍, 입술 끝점 등)을 2차원 카메라 영상으로부터 추출하였으며, 이들의 움직임으로부터 카메라 보정 및 매개변수 추정 방법등을 이용하여 초기 3차원 위치를 추정해 내었다. 이후 모니터 상의 한 지점을 쳐다보기 위해 사용자가 얼굴을 움직이는 경우 이러한 얼굴의 3차원 움직임 량 역시 자동으로 추정하였다. 이로부터 변화된 얼굴 특징점의 3차원 위치를 계산해 낼 수 있었으며, 이를 바탕으로 모니터 상의 시선 위치를 구하였다. 실험 결과, 19인치 모니터상의 임의의 지점을 사용자가 쳐다보았을 때, 약 2.01인치의 시선 위치에러 성능을 얻었다.

Keywords

References

  1. Jaihie Kim, K. R. Park, S. Leclair, 'Process Control via Gaze Detection Technology', The Second International Conference on Intelligent Processing and Manufacturing of Materials, pp.1263-1269, July, 1999 https://doi.org/10.1109/IPMM.1999.791556
  2. A. Azarbayejani, 'Visually Controlled Graphics', IEEE Trans. PAMI, Vol. 15, No. 6, pp. 602-605, June, 1993 https://doi.org/10.1109/34.216730
  3. T. Fukuhara, T. Murakami, '3D-motion estimation of human head for model-based image coding', IEE Proc., Vol. 140, No. 1, pp. 26-35, 1993
  4. P. Ballard, G. Stockman, 'Controlling a Computer via Facial Aspect', IEEE Trans. on System Man and Cybernetics, Vol. 25, No.4, pp. 669-677, 1995 https://doi.org/10.1109/21.370199
  5. A. Gee, R. Cipolla, 'Fast visual tracking by temporal consensus', Image and Vision Computing', Image and Vision Computing, Vol. 14, pp. 105-114, 1996 https://doi.org/10.1016/0262-8856(95)01044-0
  6. J. Heinzmann, A. Zelinsky, '3-D Facial Pose and Gaze Point Estimation using a Robust Real-Time Tracking Paradigm', Proceedings of the International Conference on Automatic Face and Gesture Recognition, pp. 142-147, 1998 https://doi.org/10.1109/AFGR.1998.670939
  7. T. Rikert, M. Jones, 'Gaze Estimation using Morphable Models', Proceedings of the International Conference on Automatic Face and Gesture Recognition, pp. 436-441, 1998 https://doi.org/10.1109/AFGR.1998.670987
  8. A. Tomono, F. Kishino, 'Gaze Point Detection Algorithm Based on Measuring 3D Positions of Face and Pupil', IEICE Transactions on Information and Systems, D-Ⅱ, Vol. J75-D-Ⅱ, No. 5, pp. 861-872. 1992. 5
  9. Ramesh Jain, Machine Vision, McGraw-Hill International Edition, 1995
  10. Steven C. Chapra, Raymond P. Canale, 'Numerical Methods for Engineers', McGraw-Hill International Editions, 1989
  11. R. BROWN et al., Introduction To Random Signals and Applied Kalman Filtering, Wiley, Third Edition
  12. 박강령, 김재희, '단안 카메라 환경에서의 시선위치 추적', 한국통신학회 논문지, 제26권 10호, pp.1390-1398, 2001년 10월