DOI QR코드

DOI QR Code

Robust 2D Feature Tracking in Long Video Sequences

긴 비디오 프레임들에서의 강건한 2차원 특징점 추적

  • 윤종현 (인천대학교 컴퓨터공학과) ;
  • 박종승 (인천대학교 컴퓨터공학과)
  • Published : 2007.12.31

Abstract

Feature tracking in video frame sequences has suffered from the instability and the frequent failure of feature matching between two successive frames. In this paper, we propose a robust 2D feature tracking method that is stable to long video sequences. To improve the stability of feature tracking, we predict the spatial movement in the current image frame using the state variables. The predicted current movement is used for the initialization of the search window. By computing the feature similarities in the search window, we refine the current feature positions. Then, the current feature states are updated. This tracking process is repeated for each input frame. To reduce false matches, the outlier rejection stage is also introduced. Experimental results from real video sequences showed that the proposed method performs stable feature tracking for long frame sequences.

비디오 영상 프레임들에서 2D 특징점들을 지속적으로 추적하는 문제는 프레임 간의 빈번한 특징점 매칭 실패로 인하여 어려움을 겪어왔다. 본 논문에서는 긴 비디오 프레임들에서 강건하게 2D 특징점들을 추적하는 기법을 제안한다. 이전 프레임까지 추적되어온 각 특징점에 대해 움직임 상태변수를 정의하고 이들 상태변수로부터 현재 프레임에서의 움직임을 예측한다. 예측된 움직임은 추적을 위한 탐색 윈도우를 설정을 위한 초기 위치로 지정된다. 유사성 검사를 통해서 탐색 윈도우 내에서 대응점을 결정한다. 측정 데이터를 반영하여 현재 프레임에서의 특징점의 움직임 상태 변수를 수정하는 과정을 갖는다. 특징점의 추적 결과는 오차를 포함하고 있고 잘못된 추적이 발생될 수 있다. 잘못 추적된 이상값들은 RANSAC 알고리즘을 적용하여 제거함으로써 정확한 특징점 추적이 지속될 수 있도록 한다. 실제 비디오 프레임들에 대해 특징점 추적을 실시한 결과 긴 비디오 프레임들에 대해서도 특징점 추적이 안정적으로 수행됨을 확인할 수 있었다.

Keywords

References

  1. J. Shi, C. Tomasi, 'Good features to track,' IEEE Conference on Computer Vision and Pattern Recognition, pp. 593-600, 1994
  2. Timo Zinber, Christoph Grabl, Heinrich Niemann, 'Efficient Feature Tracking for Long Video Sequences,' DAGM, Vol 3175, pp. 326-333, 2004
  3. C. Tomasi, T. Kanade, 'Detection and tracking of point features,' Tech. Rep., CMU-CS-91132, Pittsburgh: Carnegie Mellon University School of Computer Science, 1991
  4. D. Lowe, 'Object Recognition from Local Scale Invariant Features,' International Conference on Computer Vision, pp. 1150-1157, 1999
  5. J.-Y. Bouguet, 'Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm,' Intel Corporation, Microprocessor Research Labs, OpenCV Documents, 1999
  6. T. Tommasini, A. Fusiello, E. Trucco, V. Roberto, 'Making good features track better,' CVPR, pp. 178-183, 1998 https://doi.org/10.1109/CVPR.1998.698606
  7. S. Sinha, J.-M. Frahm, and M. Pollefeys, 'GPU-based Video Feature Tracking and Matching,' Tech. Rep. TR06-012, University of North Carolina at Chapel. Hill, May 2006
  8. C. G. Harris, M. J. Stephens, 'A Combined Corner and Edge Detector,' Proceedings of Fourth Alvey Vision Conference, pp. 147-151, 1998
  9. D. Lowe, 'Distinctive image features from scale-invariant keypoints,' International Journal of Computer Vision, 2003
  10. M. A. Fischler, R. C. Bolles, 'Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography,' ACM, Vol 24, pp 381-395, 1981 https://doi.org/10.1145/358669.358692
  11. T. Tommasini, A. Fusiello, V. Roberto, and E. Trucco, 'Robust feature tracking,' Proceedings of the Joint Workshop 7of AI*IA and IAPR-IC, Ferrara, Universita di Ferrara. pp. 93-98, 1998
  12. J. Matas, O. Chum, 'Randomized RANSAC with Sequential Probability Ratio Test,' IEEE International Conference on Computer Vision, Vol 2, pp. 1727-1732, 2005
  13. Zhengyou Zhang, Charles Loop, 'Estimating the fundamental matrix by transforming image points in projective space,' Computer Vision and Image Understanding, Vol 82, pp. 174-180, 2001 https://doi.org/10.1006/cviu.2001.0909
  14. Sun Yinan, Liu Weijun, Ma Yong Zhuang, Wang Yuechao, 'A High-Accuracy Algorithm for Computing Fundamental Matrix,' Proc. 2004 IEEE International Conference on Robotics and Biomimetics, pp. 733-736, 2004
  15. R. Hartley, A. Zisserman, 'Multiple View Geometry in Computer Vision,' Cambridge University Press, 2000