DOI QR코드

DOI QR Code

Video Editing using Hand Gesture Tracking and Recognition

손동작 추적 및 인식을 이용한 비디오 편집


Abstract

In this paper presents a gesture based driven approach for video editing. Given a lecture video, we adopt novel approaches to automatically detect and synchronize its content with electronic slides. The gestures in each synchronized topic (or shot) are then tracked and recognized continuously. By registering shots and slides md recovering their transformation, the regions where the gestures take place can be known. Based on the recognized gestures and their registered positions, the information in slides can be seamlessly extracted not only to assist video editing, but also to enhance the quality of original lecture video. In experiment with two videos, the proposed system showd each gesture recognition rate 95.5%,96.4%.

본 논문에서는 동작에 근거한 새로운 비디오 편집 방법을 제안한다. 강의 비디오에서 전자 슬라이드 내용을 자동으로 검출하고 비디오와 동기화한다. 각 동기화된 표제의 동작을 연속적으로 추적 및 인식한 후, 등록된 화면과 슬라이드에서 변환 내용을 찾아 동작이 일어 나는 영역을 확인한다. 인식된 동작과 등록된 지점에서 슬라이드의 정보를 추출하여 슬라이드 영역을 부분적으로 확대한다거나 원본 비디오를 자동으로 편집함으로써 비디오의 질을 향상 시킬 수가 있다. 2개의 비디오 가지고 실험한 결과 각 95.5,96.4 %의 동작 인식 결과를 얻을 수 있었다.

Keywords

References

  1. G. D. Abowd et. al., 'Teaching and Leaming as Multimedia Authoring: The Classroom 2000 Project,' ACM Multimedia, pp. 187-198, 2000
  2. S. G. Deshpande & J.-N. Hwang, 'A Real-time Interactive Virtual Classroom Multimedia Distance Learning System,' IEEE Trans on Multimedia, vol. 3, no. 4, pp. 432-444, 2001 https://doi.org/10.1109/6046.966115
  3. D. Phung, S. Venkatesh & C. Dorai, 'High Level Segmentation of Instructional Videos Based on Content Density,' ACM Multimedia, 2002
  4. L. He, E. Sanocki, A. Gupta & J. Grudin, 'Auto-Summarization of Audio-Video Presentations,' ACM Multimedia, pp. 489-498, 1999
  5. S. X. Ju et. al, 'Summarization of Videotaped Presentations: Automatic Analysis of Motion and Gesture,' IEEE Trans on CSVT, vol. 8, no. 5, pp. 686-696,1998
  6. Q. Liu, Y. Rui, A. Gupta & J. J. Cadiz, 'Automatic Camera Management for Lecture Room Environment,' Int. Conf. on Human Fectirs in Computing Systems, 200 1
  7. T. F. S. -Mahmood, 'Indexing for topics in videos using foils,' Int. Conf. CVPR, pp. 312-319,2000
  8. J. Martin & J. B. Durand, 'Automatic Gestures Recognition Using Hidden Markov Models,' Int. Conf. Automatic Face and Gesture Recognition, 2000
  9. S. Mukhopadhyay & B. Smith, 'Passive Capture and Structuring of Lectures,' ACM Multimedia, 1999
  10. C. W. Ngo, T. C. Pong & T. S. Huang, 'Detection of Slide Transition for Topic Indexing,' Int. Conf. on Multimedia Expo, 2002
  11. P. Peer, J. Kovac & F. SOLINA, 'Human skin colour clustering for face detection,' Int. Conf. on Computer as a Tool, 2003
  12. F.Wang, C. W. Ngo & T. C. Pong, 'Synchronization of Lecture Videos and Electronic Slides by Video Text Analysis,' ACM Multimedia Conference, 2003