The KIPS Transactions:PartB (정보처리학회논문지B)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Online Multi-view Range Image Registration using Geometric and Photometric Feature Tracking

3차원 기하정보 및 특징점 추적을 이용한 다시점 거리영상의 온라인 정합

  • 백재원 (경북대학교 컴퓨터공학과) ;
  • 문재경 (경북대학교 전기전자컴퓨터학부) ;
  • 박순용 (경북대학교 컴퓨터공학과)
  • Published : 2007.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

An on-line registration technique is presented to register multi-view range images for the 3D reconstruction of real objects. Using a range camera, we first acquire range images and photometric images continuously. In the range images, we divide object and background regions using a predefined threshold value. For the coarse registration of the range images, the centroid of the images are used. After refining the registration of range images using a projection-based technique, we use a modified KLT(Kanade-Lucas-Tomasi) tracker to match photometric features in the object images. Using the modified KLT tracker, we can track image features fast and accurately. If a range image fails to register, we acquire new range images and try to register them continuously until the registration process resumes. After enough range images are registered, they are integrated into a 3D model in offline step. Experimental results and error analysis show that the proposed method can be used to reconstruct 3D model very fast and accurately.

본 논문에서는 물체의 3차원 모델을 복원하기 위하여 거리영상 카메라에서 획득한 다시점 3차원 거리영상을 온라인으로 정합(registration)하는 기술을 제안한다. 3차원 모델 복원을 위하여 거리영상 카메라를 복원하고자하는 물체 주위로 이동하여 연속된 다시점 거리영상과 사진영상을 획득하고 물체와 배경을 분리한다. 분리된 다시점 거리영상의 정합을 위하여 이미 등록된 거리영상의 변환정보 그리고 두 거리영상 사이의 기하정보를 이용하여 정합을 초기화한다. 위 과정을 통해 서로 인접한 거리영상에서 영상 특징점을 선택하고 특징점에 해당하는 거리영상의 3차원 점군을 이용하여 투영 기반(projection-based) 정합을 실시한다. 기하정합이 완료되면 사진영상 간의 대응점을 추적하여 정합을 정제(refinement)하는 과정을 거치는데 KLT (Kanade-Lucas-Tomasi) 추적기를 수정하여 대응점 탐색의 속도와 성공률을 증가시켰다. 영상 특징점과 추적된 대응점에 해당하는 3차원 점군을 이용하여 거리영상을 정제하였다. 정합과 정제의 결과를 통해 추정된 변환 행렬과 정합된 대응점들 사이의 거리를 계산하여 정합 결과를 검증하고 거리영상의 사용 여부를 결정한다. 만약 정합이 실패하더라도 경우에도 거리영상을 실시간으로 계속 획득하고 정합을 다시 시도한다. 위와 같은 과정을 반복하여 충분한 거리 영상을 획득하고 정합이 완료되면 오프라인에서 3차원 모델을 합성하였다. 실험 결과들을 통해 제안한 방법이 3차원 모델을 성공적으로 복원할 수 있음을 확인 할 수 있었고 오차 분석을 통해 모델 복원의 정확도를 검증하였다.

Keywords

References

  1. P. J. Besl and N. D. McKay, 'A Method for Registration of 3-D Shapes', IEEE Trans. on Pattern Recognition and Machine Intelligence, Vol. 14, No. 2, pp. 239-256, 1992 https://doi.org/10.1109/34.121791
  2. A. E. Johnson and S. B. Kang, 'Registration and integration of textured 3D data', Image and Vision Computing, Vol. 17, No. 2, pp. 135-147, 1999 https://doi.org/10.1016/S0262-8856(98)00117-6
  3. M. Levoy, K. Pulli, B. Curless, S. Rusinkiewicz, D. Koller, L. Pereira, M. Ginzton, S. Anderson, J. Davis, J. Ginsberg, J. Shade, and D. Fulk. 'The digital michelangelo project : 3D scanning of large statues', In SIGGRAPH, pp. 131-144, 2000
  4. Daniel Huber and Martial Hebert. '3-D Modeling Using a Statistical Sensor Model and Stochastic Search', In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 858-865, 2003
  5. Onay Urfalioglu, Patrick Mikulastik, Ivo Stegmann, 'Scale Invariant Robust Registration of 3D-Point Data and a Triangle Mesh by Global Optimization', Proceedings of the 8th International Conference on Advanced Concepts for Intelligent Vision Systems (ACIVS 2006), LNCS Vol. 127, pp. 1059-1070 Antwerp, 2006 https://doi.org/10.1007/11864349_96
  6. P. Allen, S. Feiner, A. Troccoli, H. Benko, E. Ishak, B. Smith, 'Seeing into the Past: Creating a 3D Modeling Pipeline for Archaeological Visualization', Second International Symposium on 3D Data Processing, Visualization and Transmission 3DPVT04, pp. 751-758, 2004
  7. A. Akbarzadeh, J.-M. Frahm, P. Mordohai, B. Clipp, C. Engels, D. Gallup, P. Merrell, M. Phelps, S. Sinha, B. Talton, L. Wang, Q. Yang, H. Stewenius, R. Yang, G. Welch, H. Towles, D. Nister and M. Pollefeys, 'Towards Urban 3D Reconstruction From Video', Proc. 3DPVT06, 2006
  8. Yushuang Liu, Heidrich, W. 'Interactive 3D model acquisition and registration', Computer Graphics and Applications, 2003. Proceedings. 11th Pacific Conference, pp 115-122, 2003
  9. T. Jaeggli, T.P. Koninckx, L. Van Gool, 'Online 3D Acquisition and Model Integration', IEEE International Workshop on Projector-Camera Systems - ICCV03, cdrom proc, 2003, France
  10. V. Popescu, E. Sacks, and G. Bahmutov, 'The Model Camera: a Hand-Held Device for Interactive Modeling,' Proceedings of 3DIM03, pp. 285-292, 2003
  11. S. Rusinkiewicz, O. Hall-Holt, and M. Levoy. 'Real-time 3d model acquisition', In Proceedings of Siggraph, Vol. 21, No. 3, pp, 438-446, 2002
  12. Bruce D. Lucas and Takeo Kanade. 'An Iterative Image Registration Technique with an Application to Stereo Vision', International Joint Conference on Artificial Intelligence, pp. 674-679, 1981
  13. Carlo Tomasi and Takeo Kanade. 'Detection and Tracking of Point Features', Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991
  14. R. Benjema and F. Schmitt, 'Fast global registration of 3D sampled surface using a multi-z-buffer technique', First International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pp. 113-123, 1997
  15. R. Bergevin, M. Soucy, H. Gagnon, and D. Laurendeau, 'Toward a general multi-view registration technique', IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 18, No. 5, pp. 540-547, 1996 https://doi.org/10.1109/34.494643
  16. Soon-Yong Park and Murali Subbarao, 'An Accurate and Fast Point-to-Plane Registration Technique', Pattern Recognition Letter, Vol. 24, No. 16, pp. 2967-2976, 2003 https://doi.org/10.1016/S0167-8655(03)00157-0
  17. William E. Lorensen , Harvey E. Cline, 'Marching cubes: A high resolution 3D surface construction algorithm', ACM SIGGRAPH Computer Graphics, Vol. 21, No. 4, pp.163-169, 1987 https://doi.org/10.1145/37402.37422