모션인식과 음성인식을 활용한 입력장치 구현

Implementation of input device using motion and voice recognition

  • 박양우 (경운대학교 소프트웨어학부) ;
  • 이우재 (경운대학교 소프트웨어학부) ;
  • 김민섭 (경운대학교 소프트웨어학부) ;
  • 정명진 (경운대학교 소프트웨어학부) ;
  • 강민재 (경운대학교 소프트웨어학부) ;
  • 염상호 (경운대학교 소프트웨어학부)
  • 발행 : 2023.01.11

초록

본 논문에서는 실시간 영상 처리 라이브러리인 OpenCV와 미디어파이프(MediaPipe)를 사용하여 동작 인식 기반 키보드, 마우스 제어 프로그램을 개발하였다. Google의 미디어파이프(MediaPipe)에서 제공하는 손가락 마디 부분의 랜드마크를 인식하며, 실시간 영상 처리로 띄워진 사용자 인터페이스에서 제스처를 통해 키보드 입력과 마우스 제어를 할 수 있으며, Google에서 제공하는 오픈 소스와 결합하여 음성인식을 통한 키보드 입력이 가능하다. 또한, 각 기능끼리 제스처를 통해 기능 변경이 가능하여 다양한 산업 분야에서 원하는 키를 매핑할 수 있기 때문에 활용 가능성이 높으며, 의료 분야에서 감염 예방을 목적으로 사용할 수 있다. 특히 기존의 메타버스에서 사용되는 고가의 센서를 대체하여 비용 절감 부분에서 장점이 있다.

키워드