The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

3D Fingertip Estimation based on the TOF Camera for Virtual Touch Screen System

가상 터치스크린 시스템을 위한 TOF 카메라 기반 3차원 손 끝 추정

  • 김민욱 (전남대학교 전자컴퓨터 공학부) ;
  • 안양근 (전자부품연구원(KETI)) ;
  • 정광모 (전자부품연구원(KETI) 실감정보플랫폼 연구센터) ;
  • 이칠우 (전남대학교 전자컴퓨터공학부)
  • Received : 2010.02.11
  • Accepted : 2010.06.07
  • Published : 2010.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

TOF technique is one of the skills that can obtain the object's 3D depth information. But depth image has low resolution and fingertip occupy very small region, so, it is difficult to find the precise fingertip's 3D information by only using depth image from TOF camera. In this paper, we estimate fingertip's 3D location using Arm Model and reliable hand's 3D location information that is modified by hexahedron as hand model. Using proposed method we can obtain more precise fingertip's 3D information than using only depth image.

TOF(Time of Flight) 기술은 물체의 3차원 깊이 정보 추출을 가능케 하는 기술 중의 하나이다. 하지만, TOF의 카메라의 출력인 깊이 영상을 이용한 물체의 3차원 위치 추출은 몸이나 손 등 크기가 큰 물체의 경우에는 비교적 신뢰성 있는 결과를 얻을 수 있는데 비하여 크기가 작은 손 끝의 경우에는 신뢰할 수 있는 값을 얻기 힘들다. 본 논문에서는 TOF 카메라에서 육면체 손 모델을 이용하여 수정된 손의 영상에서의 위치 정보와 팔 모델을 이용하여 손 끝의 3차원 좌표를 추정한다. 제안된 방법으로 실험을 한 결과 TOF 카메라의 깊이 영상만을 사용하여 인식한 손 끝의 3차원 위치정보와 비교하여 훨씬 더 향상된 결과를 얻을 수 있었다.

Keywords

References

  1. 김형준, "게임 응용을 위한 가상 터치스크린 시스템", 한국게임학회논문지, 제6권, 제3호, pp.77-86, 2006.
  2. Eunjin Koh, Jongho Won, and Changseok Bae, "Vision-based Virtual Touch Screen Interface", ICCE 2008, LasVegas, USA, 2008.
  3. 석홍일, 이지홍 and 이성환, "3차원 손 모델링 기반의 실시간 손 포즈 추적 및 손가락 동작 인식", 정보과학회논문지, 제35권, 제12호, 2008.
  4. A. Heap and D. Hogg, "Improving Specificity in PDMs using a Hierarchical Approach," Proc. British Machine Vision Conference, Essex, UK, Vol.1, pp.80-89, Sept. 1997.
  5. R. Rosales, S. Sclaroff, and V. Athitsos, "3D Hand Pose Reconstruction using Specialized Mappings," Proc. 8th IEEE International Conference on Computer Vision, Vancouver, Canada, Vol.1, pp.378-385, July, 2001.
  6. Y. Wu and T. Huang, "View-Independent Recognition of Hand Postures," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, South California, USA, Vol.2, pp.88-94, June, 2000.
  7. J. Deutscher, A. Blake, and I. Reid, "Articulated Body Motion Capture by Annealed Particle Filtering," Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, South California, USA, Vol.2, pp.126-133, June, 2000.
  8. N. Shimada, Y. Shirai, Y. Kuno, and J. Miura."Hand Gesture Estimation and Model Refinement using Monocular Camera Ambiguity Limitation by Inequality Constraints," Proc. 3rd IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, pp.268-273, 1998.
  9. Y. Wu and T. Huang, "Capturing Articulated Human Hand Motion: A Divide-and-Conquer Approach," Proc. 7th IEEE International Conference on Computer Vision, Kerkyra, Greece, Vol.1, pp.606-611, 1999.
  10. B. Stenger, A. Thayananthan, P. Torr, and R. Cipolla, "Hand Pose Estimation Using Hierarchical Detection," Proc. European Conference on Computer Vision, Lecture Notes in Computer Science, Prague, Czech Republic, Vol.3058, pp.105-116, May, 2004.
  11. J. Kuch and T. Huang, "Vision based Hand Modeling and Tracking for Virtual Teleconferencing and Telecollaboration," Proc. 5th International Conference on Computer Vision, Cambridge, USA, pp.666-671, June, 1995.
  12. J. Lee and T. Knuii, "Model-based Analysis of Hand Posture," Proc. IEEE Computer Graphics and Application, New York, USA, Vol.15, No.5, pp.77-86, 1995. https://doi.org/10.1109/38.403831
  13. G.J. Iddan and G. Yahav, "3D IMAGING IN THE STUDIO (AND ELSEWHERE...)," Proceedings of SPIE, Vol.4298, pp.48-55, 2001. https://doi.org/10.1117/12.424913
  14. 김민욱, 안양근 and 이칠우, "다층신경망과 3차원 시각정보에 기반한 가상스크린 시스템,"멀티미디어학회 춘계학술대회, 제12권, 제1호, p.87, 2009.
  15. 양정석, "모델 기반 헤드포즈 인식에 의한 응시 위치 인식", 석사학위논문, 전남대학교 대학원, 2002.
  16. Yi Ma, Stefano Soatto, Jana Kosecka and S. Shankar Sastry, An Invitation to 3-D Vision From Image to Geometric Models, Springer, 2006.
  17. 주우석, "OpenGL로 배우는 컴퓨터 그래픽스," 한빛미디어, 2006.
  18. Meskers C.G.M, Vermeulen H.M., Groot de J.H., Helm van der F.C.T. and Rozing P.M.. "3D shoulder position measurements using a six-degree-of-freedom electromagnetic tracking device," Clinical Biomechanics, Vol.13, pp.280-292, 1998. https://doi.org/10.1016/S0268-0033(98)00095-3