Journal of Digital Contents Society (디지털콘텐츠학회 논문지)

Digital Contents Society (한국디지털콘텐츠학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on Tangible Gesture Interface Prototype Development of the Quiz Game

퀴즈게임의 체감형 제스처 인터페이스 프로토타입 개발

  • 안정호 (강남대학교 컴퓨터미디어정보공학부) ;
  • 고재필 (금오공과대학교 컴퓨터공학과)
  • Received : 2012.04.23
  • Accepted : 2012.06.19
  • Published : 2012.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper introduce a quiz game contents based on gesture interface. We analyzed the off-line quiz games, extracted its presiding components, and digitalized them so that the proposed game contents is able to substitute for the off-line quiz games. We used the Kinect camera to obtain the depth images and performed the preprocessing including vertical human segmentation, head detection and tracking and hand detection, and gesture recognition for hand-up, hand vertical movement, fist shape, pass and fist-and-attraction. Especially, we defined the interface gestures designed as a metaphor for natural gestures in real world so that users are able to feel abstract concept of movement, selection and confirmation tangibly. Compared to our previous work, we added the card compensation process for completeness, improved the vertical hand movement and the fist shape recognition methods for the example selection and presented an organized test to measure the recognition performance. The implemented quiz application program was tested in real time and showed very satisfactory gesture recognition results.

우리는 본 논문에서 사용자 제스처 인터페이스 기반 퀴즈게임 콘텐츠를 제안한다. 우리는 기존의 아날로그 방식으로 수행해 오던 퀴즈게임의 요소들을 파악하여 디지털화함으로써 퀴즈 진행자의 역할을 콘텐츠 프로그램이 담당할 수 있도록 하였다. 우리는 키넥트 카메라를 사용하여 깊이영상을 획득하고 깊이영상에서 사용자 분할, 머리 위치 검출 및 추적, 손 검출 등의 전처리 작업과 손들기, 손 상하이동, 주먹 모양, 패스, 주먹 쥐고 당김 등의 명령형 손 제스처 인식기술을 개발하였다. 특히 우리는 사람이 일상생활에서 물리적인 객체를 조작하는 동작으로 인터페이스를 위한 제스처를 정의함으로써 사용자가 이동, 선택, 확인 등의 추상적인 개념을 인터페이스 과정에서 체감할 수 있도록 디자인하였다. 앞서 발표되었던 선행 작업과 비교할 때, 우리는 승리 팀에 대한 카드보상 절차를 추가하여 콘텐츠의 완성도를 높였으며, 손 상하이동 인식과 주먹 모양 인식 알고리즘 등을 개선하여 문제 보기선택의 성능을 크게 향상시켰고, 체계적인 실험을 통해 만족할 만한 인식 성능을 입증하였다. 구현된 콘텐츠는 실시간 테스트에서 만족스러운 제스처 인식 결과를 보였으며 원활한 퀴즈게임 진행이 가능하였다.

Keywords

References

  1. 안정호, "제스처인식을 이용한 퀴즈게임 콘텐츠의 사용자 인터페이스에 대한 연구", 디지털콘텐츠학회 논문지, Vol. 13, No. 1, pp91-99. 2012.
  2. N. D. Binh, E. Shuichi and T. Ejima, "Real-Time Hand Tracking and Gesture Recognition System", GVIP Conference, 2005.
  3. A. F. Bobick, and J. W. Davis, "The Recognition of Human Movement Using Temporal Templates", IEEE Transactions on Pattern Recognition and Machine Learning, Vol. 23, No. 3, 2001.
  4. L. Bretzber, I. Laptev and Tony Lindeberg, "Hand Gesture Recognition using Mulit-Scale Colour Features, Hierarchical Models and Partical Filtering", IEEE International Conference on Automatic Face and Gesture Recognition, pp.423-428. 2002.
  5. J.W. Davis, "Hierarchical Motion History Images for Recognizing Human Motion", IEEE workshop on Detection and Recognition of Events in Video, pp.39-46, 2001.
  6. Y. Fang, K. Wang, J. Cheng and H. Lu, "A real-time hand gesture recognition method", IEEE International Conference on Multimedia and Expo, pp. 995-998, 2007.
  7. N. Gupta, P. Mittal, S. R. Dutta, S. Chaudhury and S. Banerjee, "Developing a Gesture-Based Interface ", IETE Journal of Research, Vol. 48, No. 3, pp. 237-244, 2002. https://doi.org/10.1080/03772063.2002.11416282
  8. A. Hernandez, M. Reyes, S. Escalera, and P. Radeva, "Spatio-Temporal GrabCut Human Segmentation for Face and Pose Recovery", IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, pp. 33-40, 2010.
  9. H. Kim, G. Albuquerque, S. Havemann and D. W. Fellner, "Tangible 3D: Hand Gesture Interaction for Immersive 3D Modeling", IPT & EGVE Workshop, 2005.
  10. T. Kirishima, K. Sato and K., Chihara, "Real-Time Gesture Recognition by Learning and Selective Control of Visual Interest Points", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 3, pp.351-364, 2005. https://doi.org/10.1109/TPAMI.2005.61
  11. A. Malima, E. Ozgur and M. Cetin, "A Fast Algorithm for Vision-based Hand Gesture Recognition for Robot Control", IEEE Conference on Signal Processing and Communications Applications, 2006.
  12. R. J. New, E. HasanBelliu and M. Aguilar, "Facilitating User Interaction with Complex Systems via Hand Gesture Recognition", In Proc. of the 41st ACM Southeastern Conference, Savannah, 2003.
  13. B. Stenger, P. Mendonca and R. Cipolla, "Model-Based 3D Tracking of an Articulated Hand", IEEE Conference on Computer Vision and Pattern Recogntiion, pp. 310-315, 2001.
  14. M.-C. Su, "A Fuzzy Rule-Based Approach to Spatio-Temporal Hand Gesture Recognition", IEEE Tansactions on Systems, Man and Cybernetics, Appl. an d Reivew, Vol. 30, No. 2, pp. 276-281, 2000.
  15. A. Wilson and A. Bobick, "Parametric Hidden Markov Models for Gesture Recognition", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 9, pp. 884-900, 1999. https://doi.org/10.1109/34.790429
  16. H.-S. Yoon, J. Soh, Y. J. Bae and H. S. Yang, "Hand gesture recognition using combined features of location, angle and velocity", Pattern Recognition, Vol. 34, pp. 1491-1501, 2001. https://doi.org/10.1016/S0031-3203(00)00096-0
  17. J.-H. Yoon, J.-S. Park and M. Y. Sung, "Vision-based Bare-Hand Gesture Interface for Interactive Augmented Reality Applications", 5th International Conference on Entertainment Computing, 2006.
  18. L. Zhang and Q. Ji, "Segmenation of Video Sequences using Spatio-temporal Conditional Random Fields", IEEE Workshop on Motion and Video Computing, pp. 1-7, 2008.

Cited by

  1. 손 제스처 인식에 기반한 Virtual Block 게임 인터페이스 vol.17, pp.6, 2012, https://doi.org/10.7583/jkgs.2017.17.6.113