• Journal of information and communication convergence engineering
• /
• 제8권5호
• /
• pp.575-580
• /
• 2010

Eye gaze as a form of input was primarily developed for users who are unable to use usual interaction devices such as keyboard and the mouse; however, with the increasing accuracy in eye gaze detection with decreasing cost of development, it tends to be a practical interaction method for able-bodied users in soon future as well. This paper explores a low-cost, robust, rotation and illumination independent eye gaze system for gaze enhanced user interfaces. We introduce two brand-new algorithms for fast and sub-pixel precise pupil center detection and 2D Eye Gaze estimation by means of deformable template matching methodology. In this paper, we propose a new algorithm based on the deformable angular integral search algorithm based on minimum intensity value to localize eyeball (iris outer boundary) in gray scale eye region images. Basically, it finds the center of the pupil in order to use it in our second proposed algorithm which is about 2D eye gaze tracking. First, we detect the eye regions by means of Intel OpenCV AdaBoost Haar cascade classifiers and assign the approximate size of eyeball depending on the eye region size. Secondly, using DAISMI (Deformable Angular Integral Search by Minimum Intensity) algorithm, pupil center is detected. Then, by using the percentage of black pixels over eyeball circle area, we convert the image into binary (Black and white color) for being used in the next part: DTBGE (Deformable Template based 2D Gaze Estimation) algorithm. Finally, using DTBGE algorithm, initial pupil center coordinates are assigned and DTBGE creates new pupil center coordinates and estimates the final gaze directions and eyeball size. We have performed extensive experiments and achieved very encouraging results. Finally, we discuss the effectiveness of the proposed method through several experimental results.

• Journal of information and communication convergence engineering
• /
• 제16권3호
• /
• pp.189-196
• /
• 2018

Player's actions in a game occur in the process of gameplay experiences in a play space designed by the developer according to preset gameplay beats. Focusing on beats that induce a first-person shooter (FPS) game's main gameplay, this paper analyzes the differences in eye gaze information found in different players during the course of gameplay. For this research goal, the study divides the beat areas in which play actions appear in association with gameplay beats at a typical FPS game level, repeatedly conducts tests in accordance with a player's experience level (novice and expert group), and collects and analyzes eye gaze information data in three types of beat areas. The analysis result suggests concrete guidelines for game level design for different beat areas based on an FPS game player's experience level. This empirical experiment method and result can lessen repetitive modification work for game level design and consequently be utilized for optimizing the game level to the developer's intention.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권1호
• /
• pp.19-26
• /
• 2018

본 논문은 가상현실 및 증강현실을 위해 양안식 눈추적기 기반의 시선 깊이 추정 기법을 제안한다. 제안한 방법은 먼저 양안식 눈추적기로부터 안구 및 시선과 관련된 다양한 정보를 획득한다. 이후 획득된 정보를 바탕으로 다층퍼셉트론 알고리즘 기반의 시선 추적과 인식 모델을 통해 눈 시선 깊이를 추정한다. 제안한 방법을 검증하기 위해 13명의 참여자를 모집하고 개인별 시선 추적과 범용 시선 추적에 대한 성능을 분석하였다. 실험결과 개인별 모델에서는 90.1%, 그리고 전체 사용자를 대상으로 한 범용 모델에서는 89.7%의 정확도를 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제21권10호
• /
• pp.11-19
• /
• 2016

The size of a display is large, The form becoming various of that do not apply to previous methods of gaze tracking and if setup gaze-track-camera above display, can solve the problem of size or height of display. However, This method can not use of infrared illumination information of reflected cornea using previous methods. In this paper, Robust pupil detecting method for eye's occlusion, corner point of inner eye and center of pupil, and using the face pose information proposes a method for calculating the simply position of the gaze. In the proposed method, capture the frame for gaze tracking that according to position of person transform camera mode of wide or narrow angle. If detect the face exist in field of view(FOV) in wide mode of camera, transform narrow mode of camera calculating position of face. The frame captured in narrow mode of camera include gaze direction information of person in long distance. The method for calculating the gaze direction consist of face pose estimation and gaze direction calculating step. Face pose estimation is estimated by mapping between feature point of detected face and 3D model. To calculate gaze direction the first, perform ellipse detect using splitting from iris edge information of pupil and if occlusion of pupil, estimate position of pupil with deformable template. Then using center of pupil and corner point of inner eye, face pose information calculate gaze position at display. In the experiment, proposed gaze tracking algorithm in this paper solve the constraints that form of a display, to calculate effectively gaze direction of person in the long distance using single camera, demonstrate in experiments by distance.

• 디지털콘텐츠학회 논문지
• /
• 제5권3호
• /
• pp.239-244
• /
• 2004

정보사회의 발전에 있어 정보의 수집, 전달 둥을 위해 수많은 IT기기가 개발 되어지고 있다. 이러한 상황 속에서 IT기기를 장애자나 고령자를 포함, 누구나가 쉽게 이용 할 수 있도록 하는 유니버설디자인은 매우 중요한 일이다. 특히 상체부자유자의 인터페이스 장치로서 시선 입력 장치가 주목 받고 있다. 이러한 시대적인 흐름에서 본 연구에서는 Eye-gaze Interface를 이용한 시선 입력만으로 컴퓨터상에서 한글입력이 가능한 한글 입력 시스템을 개발 제안한다. 또한 본 연구의 목적으로는 기존의 키보드 마우스에 의한 입력 장치와 Eye-gaze Interface를 이용한 입력 장치와의 정점과 단점을 비교 분석하고 정보사회에 있어서의 장애자와 고령자들의 Barrier Free에 관한 연구를 기본 목적으로 하고 있다. 본 연구의 Eye-gaze Interface는 Eye Tech Digital System회사의 Quick Glance System를 사용한다. 장애자와 고령자를 대상으로 한 사용자 평가 실험에 의해 실험을 진행 하였으며, 한글의 음운규칙에 관한 연구를 기초로 한글뿐만 아니라 영어, 일본어가 입력 가능한 입력 시스템을 제안한다. 이것은 컴퓨터 조작이 곤란한 장애자와 고령자가 일반인과의 자연스러운 커뮤니케이션이 가능하도록 한 것이다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.84-88
• /
• 2005

Eye gaze positions evaluation on computer screen uses the human eye as an input device for computer systems is that it gives low resolution. We proposes a method to determine the eye gaze positions on the screen by using two-eye displacements as the information for mapping, and the perspective projection is applied to map the displacements to a position on a computer screen. The experiments were performed on 20 persons and a 17-inch monitor is used with the screen resolution of 1024x768 pixels. Gaze detection error was 3.18 cm (RMS error), with screen is divided into 5x8 and 7x10 positions on a 17-inch monitor. The results showed 100% and 96% correction, respectively.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권4호
• /
• pp.834-848
• /
• 2013

To effectively use these functions many kinds of human-phone interface are used such as touch, voice, and gesture. However, the most important touch interface cannot be used in case of hand disabled person or busy both hands. Although eye tracking is a superb human-computer interface method, it has not been applied to smartphones because of the small screen size, the frequently changing geometric position between the user's face and phone screen, and the low resolution of the frontal cameras. In this paper, a new eye tracking method is proposed to act as a smartphone user interface. To maximize eye image resolution, a zoom lens and three infrared LEDs are adopted. Our proposed method has following novelties. Firstly, appropriate camera specification and image resolution are analyzed in order to smartphone based gaze tracking method. Secondly, facial movement is allowable in case of one eye region is included in image. Thirdly, the proposed method can be operated in case of both landscape and portrait screen modes. Fourthly, only two LED reflective positions are used in order to calculate gaze position on the basis of 2D geometric relation between reflective rectangle and screen. Fifthly, a prototype mock-up design module is made in order to confirm feasibility for applying to actual smart-phone. Experimental results showed that the gaze estimation error was about 31 pixels at a screen resolution of $480{\times}800$ and the average hit ratio of a $5{\times}4$ icon grid was 94.6%.

• 디지털콘텐츠학회 논문지
• /
• 제17권5호
• /
• pp.367-373
• /
• 2016

본 논문에서는 사용자 시선 추적에 사용되는 시선 추적기의 정확도 향상 및 이를 분석하는 방법을 제안한다. 제안하는 방법에서는 시선 좌표와 색 정보를 추출하여 정확한 동공 정보를 기반으로 만들어진 사용자 profile 정보를 추출한 후 이를 기반으로 시선 추적기가 부착된 디스플레이에서 고르게 높은 정확도를 유지 하도록 한다. 이 때 사용자 profile 정보 추출 시 응시 시간에 따른 정확도의 변화 또한 추정하여 최적의 파라미터 값을 추출한다. 시선 추적의 정확도에 대한 실험 결과 짧은 시간으로 특정지점을 응시할 경우 시선 추적의 정확도가 낮게 측정되지만, 응시 시간을 2초 이상의 유지 시 80% 이상의 높은 시선 추적 정확도가 측정됨을 알 수 있었다.

• 한국통신학회논문지
• /
• 제28권12C호
• /
• pp.1239-1249
• /
• 2003

시선 위치 추적이란 현재 사용자가 쳐다보고 있는 위치를 컴퓨터 시각 인식 방법을 이용하여 파악하는 연구이다. 일반적으로 사용자가 모니터 상의 한 위치를 쳐다보기 위해서는 얼굴 및 눈동자를 동시에 움직이는 경향이 있다. 기존의 시선 위치 추적 시스템은 사용자의 얼굴 전체를 취득할 수 있는 단 하나의 광각 카메라를 이용하여 사용자의 얼굴 및 눈동자 움직임을 추적하였다. 그러나 이러한 경우, 광각 카메라 내에 포함된 눈동자 영상의 해상도가 많이 떨어져서 사용자의 눈동자 움직임을 정확하게 추적하지 못하는 문제점이 있었다. 그러므로 이 논문에서는 얼굴 영상을 취득하기 위한 광각 카메라 및 눈 영역을 확대하여 취득하는 협각 카메라, 즉 2개의 카메라를 이용하여 시선 위치추적 시스템을 구현하였다. 또한, 얼굴의 움직임 시 전체적인 위치가 변화될 눈동자의 움직임을 정확히 추적하기 위해, 협각 카메라에는 광각 카메라에서 추출된 얼굴 특징점의 위치를 기반으로 한 자동 초점 및 자동 상하/좌우 회전 기능이 포함되어 있다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 실험자가 눈동자는 고정으로 하고 얼굴만 움직여서 쳐다보는 경우에 약 3.1cm, 흐리고 얼굴 및 눈동자를 같이 움직여서 쳐다보는 경우에 약 3.57cm의 최소 자승 에러성능을 나타냈다. 처리 속도도 Pentium-IV 1.8 GHz에서 약 30ms 이내의 처리 속도를 나타냈다.

• 한국정보전자통신기술학회논문지
• /
• 제16권3호
• /
• pp.123-129
• /
• 2023

응시점을 통해 어떤 것을 보고 있는지 알 수 있다면 많은 정보를 얻을 수 있다. 응시 추적 기술의 발달로 응시점에 대한 정보는 다양한 응시 추적 기기에서 제공해주는 소프트웨어를 통해 얻을 수 있다. 하지만 실제 응시 깊이와 같은 정확한 정보를 추정하기란 어렵다. 응시 추적 기기를 통해 만약 실제 응시 깊이로 보정할 수 있다면 시뮬레이션, 디지털 트윈, VR 등 다양한 분야에서 현실적이고 정확한 신뢰성 있는 결과를 도출하는 것이 가능해질 것이다. 따라서 본 논문에서는 응시 추적 기기와 소프트웨어를 통해 원시 응시 깊이를 획득하고 보정하는 실험을 진행한다. 실험은 Deep Neural Network(DNN) 모델을 설계한 후 소프트웨어에서 제공하는 응시 깊이 값을 300mm에서 10,000mm까지 지정한 거리별로 획득한다. 획득한 데이터는 설계한 DNN 모델을 통해 학습을 진행하여 실제 응시 깊이와 대응하도록 보정하였다. 보정한 모델을 통해 실험을 진행한 결과, 300mm에서 10,000mm까지 지정한 거리별 297mm, 904mm, 1,485mm, 2,005mm, 3,011mm, 4,021mm, 4,972mm, 6,027mm, 7,026mm, 8,043mm, 9,021mm, 10,076mm로 실제와 비슷한 응시 깊이 값을 획득할 수 있었다.