Proceedings of the Korean Institute of Information and Commucation Sciences Conference (한국정보통신학회:학술대회논문집)

The Korea Institute of Information and Commucation Engineering (한국정보통신학회)
권호 표지

Implementation to human-computer interface system with motion tracking using OpenCV and FPGA

FPGA와 OpenCV를 이용한 눈동자 모션인식을 통한 의사소통 시스템

  • Lee, Hee Bin (Dept. of Electrical, Electronic, Control Eng. and IITC, Hankyong National University) ;
  • Heo, Seung Won (Dept. of Electrical, Electronic, Control Eng. and IITC, Hankyong National University) ;
  • Lee, Seung Jun (Dept. of Electrical, Electronic, Control Eng. and IITC, Hankyong National University) ;
  • Yu, Yun Seop (Dept. of Electrical, Electronic, Control Eng. and IITC, Hankyong National University)
  • 이희빈 (한경대학교 전기전자제어공학과, IITC) ;
  • 허승원 (한경대학교 전기전자제어공학과, IITC) ;
  • 이승준 (한경대학교 전기전자제어공학과, IITC) ;
  • 유윤섭 (한경대학교 전기전자제어공학과, IITC)
  • Published : 2018.05.31
Download PDF
⟨ Previous Next ⟩

Abstract

This paper introduces a system that enables pupillary tracing and communication with patients with amyotrophic lateral sclerosis (ALS) who can not move free. Face and pupil are tracked using OpenCV, and eye movements are detected using DE1-SoC board. We use the webcam, track the pupil, identify the pupil's movement according to the pupil coordinate value, and select the character according to the user's intention. We propose a system that can use relatively low development cost and FPGA can be reusable, and can select a text easily to mobile phone by using Bluetooth.

본 논문은 FPGA를 이용해서 몸을 움직이지 못하는 루게릭병 환자들을 위해 동공을 추적하여 의사 소통을 할 수 있게 해주는 시스템을 소개한다. OpenCV를 이용한 얼굴 및 눈동자 추적과 DE1-SoC보드를 이용하여 눈의 움직임 검출과 문자를 출력한다. 본 논문에서는 웹캠을 사용하고 눈동자를 추적하고 눈동자의 좌표 값에 따라 눈동자의 움직임을 파악하고 사용자의 의도에 맞는 문자를 출력한다. 비교적 개발비용이 저렴하고 업데이트 가능한 FPGA를 사용하고, 블루투스를 이용하여 핸드폰으로 쉽게 문자를 출력할 수 있는 시스템을 제안한다.

Keywords