DOI QR코드

DOI QR Code

SLAM Method by Disparity Change and Partial Segmentation of Scene Structure

시차변화(Disparity Change)와 장면의 부분 분할을 이용한 SLAM 방법

  • Choi, Jaewoo (School of Integrative Engineering, Chung-Ang University) ;
  • Lee, Chulhee (School of Integrative Engineering, Chung-Ang University) ;
  • Eem, Changkyoung (School of Integrative Engineering, Chung-Ang University) ;
  • Hong, Hyunki (School of Integrative Engineering, Chung-Ang University)
  • 최재우 (중앙대학교 첨단영상대학원 영상학과) ;
  • 이철희 (중앙대학교 첨단영상대학원 영상학과) ;
  • 임창경 (중앙대학교 창의ICT공과대학) ;
  • 홍현기 (중앙대학교 융합공학부)
  • Received : 2015.04.20
  • Accepted : 2015.07.31
  • Published : 2015.08.25

Abstract

Visual SLAM(Simultaneous Localization And Mapping) has been used widely to estimate a mobile robot's location. Visual SLAM estimates relative motions with static visual features over image sequence. Because visual SLAM methods assume generally static features in the environment, we cannot obtain precise results in dynamic situation including many moving objects: cars and human beings. This paper presents a stereo vision based SLAM method in dynamic environment. First, we extract disparity map with stereo vision and compute optical flow. We then compute disparity change that is the estimated flow field between stereo views. After examining the disparity change value, we detect ROIs(Region Of Interest) in disparity space to determine dynamic scene objects. In indoor environment, many structural planes like walls may be determined as false dynamic elements. To solve this problem, we segment the scene into planar structure. More specifically, disparity values by the stereo vision are projected to X-Z plane and we employ Hough transform to determine planes. In final step, we remove ROIs nearby the walls and discriminate static scene elements in indoor environment. The experimental results show that the proposed method can obtain stable performance in dynamic environment.

카메라를 이용하는 시각(visual) SLAM(Simultaneous Localization And Mapping)은 로봇의 위치 등을 파악하는데 널리 이용되고 있다. 일반적으로 시각 SLAM은 움직임이 없는 고정된 특징점을 대상으로 연속적인 시퀀스 상에서 카메라의 움직임을 추정한다. 따라서 이동하는 객체가 많이 존재하는 상황에서는 안정적인 결과를 기대하기 어렵다. 본 논문에서는 이동 객체가 많은 상황에서 스테레오 카메라를 이용한 SLAM을 안정화하는 방법을 제안한다. 먼저, 스테레오 카메라를 이용하여 깊이영상을 추출하고 옵티컬 플로우를 계산한다. 그리고 좌우 영상의 옵티컬 플로우를 이용하여 시차변화(disparity change)를 계산한다. 그리고 깊이 영상에서 사람과 같이 움직이는 객체에 대한 ROI(Region Of Interest)를 구한다. 실내 상황에서는 벽과 같은 정적인 평면들이 움직이는 영역으로 잘못 판단되는 경우가 자주 발생한다. 이런 문제점을 해결하기 위해 깊이 영상을 X-Z 평면으로 사영하고 허프(hough) 변환하여 장면을 구성하는 평면을 결정한다. 앞의 과정에서 판단된 이동 객체 중에서 벽과 같은 장면 요소를 제외한다. 제안된 방법을 통해 정적인 특징점이 요구되는 SLAM의 성능을 보다 안정화할 수 있음을 확인하였다.

Keywords

References

  1. P. F. Alcantarilla, J. J. Yebes, J. Almazan, and L. M. Bergasa, "On Combining Visual SLAM and Dense Scene Flow to Increase the Robustness of Localization and Mapping in Dynamic Environments," IEEE International Conference on Robotics and Automation, pp. 1290-1297, 2012.
  2. A. J. Davison, I. D. Reid, N. D. Molton, and O. Stasse, "MonoSLAM: Real-Time Single Camera SLAM," IEEE Transactions on PAMI, Vol. 29, pp. 1052-1067, No. 6, 2007. https://doi.org/10.1109/TPAMI.2007.1049
  3. W. Brink, C. E. van Daalen, and W. Brink, "Stereo Vision as a Sensor for EKF SLAM", PRASA, pp.19-24, 2011.
  4. S. Kang and H. Hong, "Codebook based Stereo Matching for Natural User Interface," Proc. of ICCE, pp. 432-433, 2013.
  5. A. Kaehler and G. Bradski, Learning OpenCV, O'Reilly Media, 2013.
  6. S. Kim, Essential Kalman Filter, A-Jin Publishing Co, 2010.
  7. J. Sanchez, E. M. Llopis, and G. Facciolo, "TV-L1 Optical Flow Estimation," Image Processing On Line, pp. 137-150, 2013.
  8. J. H. Matherws and K. D. Fink, "Numerical Methods Using MATLAB," Prentice-Hall, 2004.
  9. R. Labayrade and D. Aubert, "In-vehicle Obstacles Detection and Characterization by Stereovision," IEEE Trans on Intelligent Transportation Systems, vol. 7, no. 1, pp. 38-50, 2006. https://doi.org/10.1109/TITS.2006.869625
  10. OpenCV, http://opencv.willowgarage.com/wiki/
  11. OpenGL, http://www.opengl.org/

Cited by

  1. Scene Structure Classification as Preprocessing for Feature-Based Visual Odometry vol.11, pp.3, 2015, https://doi.org/10.4271/2018-01-0610