Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지

Hand gesture recognition based on RGB image data

RGB 영상 데이터 기반 손동작 인식

  • Kim, Gi-Duk (Dept. of Electricity and Electronic Computer Engineering, Pusan National University)
  • 김기덕 (부산대학교 전기전자컴퓨터공학과)
  • Published : 2021.07.14
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 RGB 영상 데이터를 입력으로 하여 mediapipe의 손 포즈 추정 알고리즘을 적용해 손가락 관절 및 주요 부위의 위치를 얻고 이를 기반으로 딥러닝 모델에 학습 후 손동작 인식 방법을 제안한다. 연속된 프레임에서 한 손의 손가락 주요 부위 간 좌표를 얻고 차분 벡터의 x, y좌표를 저장한 후 Conv1D, Bidirectional GRU, Transformer를 결합한 딥러닝 모델에 학습 후 손동작 인식 분류를 하였다. IC4You Gesture Dataset 의 한 손 동적 데이터 9개 클래스에 적용한 결과 99.63%의 손동작 인식 정확도를 얻었다.

Keywords