DOI QR코드

DOI QR Code

A Study for Improved Human Action Recognition using Multi-classifiers

비디오 행동 인식을 위하여 다중 판별 결과 융합을 통한 성능 개선에 관한 연구

  • Kim, Semin (Dept. Information and Communications Engineering, KAIST) ;
  • Ro, Yong Man (Dept. Electrical Enginerring, KAIST)
  • 김세민 (한국과학기술원 정보통신공학과) ;
  • 노용만 (한국과학기술원 전기및전자공학과)
  • Received : 2014.01.13
  • Accepted : 2014.02.21
  • Published : 2014.03.30

Abstract

Recently, human action recognition have been developed for various broadcasting and video process. Since a video can consist of various scenes, keypoint approaches have been more attracted than template based methods for real application. Keypoint approahces tried to find regions having motion in video, and made 3-dimensional patches. Then, descriptors using histograms were computed from the patches, and a classifier based on machine learning method was applied to detect actions in video. However, a single classifier was difficult to handle various human actions. In order to improve this problem, approaches using multi classifiers were used to detect and to recognize objects. Thus, we propose a new human action recognition using decision-level fusion with support vector machine and sparse representation. The proposed method extracted descriptors based on keypoint approach from a video, and acquired results from each classifier for human action recognition. Then, we applied weights which were acquired by training stage to fuse each results from two classifiers. The experiment results in this paper show better result than a previous fusion method.

최근 다양한 방송 및 영상 분야에서 사람의 행동을 인식하여는 연구들이 많이 이루어지고 있다. 영상은 다양한 형태를 가질 수 있기 때문에 제약된 환경에서 유용한 템플릿 방법들보다 특징점에 기반한 연구들이 실제 사용자 환경에서 더욱 관심을 받고 있다. 특징점 기반의 연구들은 영상에서 움직임이 발생하는 지점들을 찾아내어 이를 3차원 패치들로 생성한다. 이를 이용하여 영상의 움직임을 히스토그램에 기반한 descriptor(서술자)로 표현하고 학습기반의 판별기로 최종적으로 영상내에 존재하는 행동들을 인식하였다. 그러나 단일 판별기로는 다양한 행동을 인식하기에 어려움이 있다. 따라서 이러한 문제를 개선하기 위하여 최근에 다중 판별기를 활용한 연구들이 영상 판별 및 물체 검출 영역에서 사용되고 있다. 따라서 본 논문에서는 행동 인식을 위하여 support vector machine과 sparse representation을 이용한 decision-level fusion 방법을 제안하고자 한다. 제안된 논문의 방법은 영상에서 특징점 기반의 descriptor를 추출하고 이를 각각의 판별기를 통하여 판별 결과들을 획득한다. 이 후 학습단계에서 획득된 가중치를 활용하여 각 결과들을 융합하여 최종 결과를 도출하였다. 본 논문에 실험에서 제안된 방법은 기존의 융합 방법보다 높은 행동 인식 성능을 보여 주었다.

Keywords

References

  1. P. Dollar, V. Rabaud, G. Cottrell, and S. Belongie, Behavior recognition via sparse spatio-temporal features, in Proc, IEEE Int. Work. Visual Surveillance and Performance Evaluation of Tracking and Surveillance, 2005, pp. 65-72.
  2. I. Laptev, and T. Lindeberg, Space-time interest points, in Proc, IEEE Int. Conf. Computer Vision, 2003, pp. 432-439.
  3. G. Willems, T. Tuytelaars, and L. Gool, An Efficient Dense and Scale-Invariant Spatio-Temporal Interest Point Detector, in Proc, Euro. Conf. Computer Vision, 2008, pp. 650-663.
  4. N. Dalal, and B. Triggs, Histograms of oriented gradients for human detection, in Proc, IEEE Int. Conf. Computer Vision and Pattern Recognition, 2005, pp. 886-893.
  5. I. Laptev, M. Marszalek, C. Schmid, and B. Rozenfeld, Learning realistic human actions from movies, in Proc, IEEE Int. Conf. Computer Vision and Pattern Recognition, 2008, pp. 1-8.
  6. A. Klaser, M. Marzalek, and C. Schmid, A spatio-temporal descriptor based on 3D-gradients, in Proc. British Machine Vision Conf., 2008, pp. 995-1004.
  7. H. Wang, M.M. Ullah, A. Klaser, I. Laptev, and C. Schmid, Evaluation of local spatio-temporal features for action recognition, in Proc. British Machine Vision Conf., 2009.
  8. O.L. Junior, D. Delgado, V. Goncalves, and U. Nunes, Trainable Classifier-Fusion Schemes: an Application to Pedestrian Detection, in Proc. IEEE conf. Intelligent Transportation Systems, 2009, pp. 432-437.
  9. H. Liu, and S. Li, Decision fusion of sparse representation and support vector machine for SAR image target recognition, Neurocomputing Vol. 113, 2013, pp. 97-104. https://doi.org/10.1016/j.neucom.2013.01.033
  10. C.C. Chang, and C.J. Lin, http://www.csie.ntu.edu.tw /-cjlin/libsvm/
  11. A.Y. Yang, S.S. Sastry, A. Ganesh, and YiMa, Fast $\ell$1-minimization algorithms and an application in robust face recognition: A review, in Proc. IEEE Int. Conf. Image Processing, 2010, pp.1849-1852.
  12. UCF Sports, http://crcv.ucf.edu/data/UCF_Sports_Action.php