Abstract
Kinect sensors have the ability to recognize the behavior and voice of the user. Due to its low-cost and high accessibility, Kinect sensors have been used in various fields, including healthcare, education and so on. In this paper, we propose to use Kinect in piano education. Specifically, the proposed method first recognizes the coordinate values of user's posture, compares them with coordinate values of teacher's posture and provide real-time feedbacks to the user. This enables user to keep the correct posture even when he is learning piano without a teacher. However, since the piano education is a long process, it is difficult to achieve the correct posture as a teacher immediately. Thus, we propose a user-oriented method to measure the error tolerance rate. The proposed method is the first feedback based piano education system that uses Kinect sensors.
키넥트는 사용자의 동작을 인식하고, 마이크 모듈로 음성을 인식하는 센서이다. 최근, 키넥트는 재활 치료 분야, 교육 분야 등의 다양한 분야에서 활용되고 있다. 교육 분야 중에서도 음악, 발레 등의 예체능 교육 분야들에 키넥트를 활용한 연구가 진행되고 있는데, 본 논문에서는 예체능 교육 분야인 피아노 교육 분야에 키넥트를 활용한다. 본 논문에서는 저가의 접근성이 높은 키넥트를 이용해 전문가와 학습자의 자세 위치 값을 인식 및 비교해 학습자에게 피드백을 제공함으로써 학습자가 혼자 있을 경우에도 객관적인 수치에 의해 자신의 자세를 교정할 수 있는 피아노 교육 방안을 제안 및 구현한다. 제안하는 키넥트 기반 피아노 교육 시스템은 키넥트를 이용하여 학습자에게 피드백을 줄 수 있는 최초의 피아노 교육 시스템이며, 전문가의 관절 위치와 학습자의 관절 위치를 비교하는 알고리즘을 제안 및 구현한다. 또한, 학습자와 전문가의 관절 위치 비교 시 오차 허용 정도를 달리하는 실험을 통하여 오차 허용 정도별 자세의 정확도를 측정한다.
