DOI QR코드

DOI QR Code

Analysis of Music and Photo for User Creative Movie

동영상 콘텐츠 생성을 위한 음악과 사진 분석

  • 정명범 (숭실대학교 대학원 미디어학과) ;
  • 고일주 (숭실대학교 미디어학부)
  • Published : 2007.06.30

Abstract

Consumers changed to the subject to produce a digital contents as data transmission technique is advanced and a digital machine is diffused variously. Users are interested greatly in a user creative movie (UCM) production among various online contents. The UCM production method which uses the music and picture is the method that users make the UCM more easily. However, the UCM production service has the problem that any association does not exist in the music and picture and that the picture changes according to fixed time interval without the relation at a music rhythm. To solve this problem, we propose the UCM production method which uses a music analysis and picture analysis in the paper. A music analysis finds a picture change time according to the rhythm and a picture analysis finds the association of the picture. A music analysis finds strong parts of the sound which uses Root-Mean-Square (RMS). And a picture analysis classifies the picture as a scenery picture and people picture which uses structure simplicity of the picture(SSP) and face region detection. A picture analysis got correct result of 86.4% in the experiment and we can finds the association at each picture and arranges the sequence which the picture appears. Therefore, if we use a music and picture analysis at the UCM production, users may make natural and efficient movie.

데이터 전송 기술의 발달과 디지털 기기의 다양한 보급으로 소비자들은 디지털 콘텐츠를 생산하는 주체로 변화하였다. 생성되는 다양한 콘텐츠 중 사용자는 동영상 제작에 큰 관심을 보였으며, 그 중 음악과 사진으로 동영상을 제작하는 방법은 사용자에게 보다 손쉽게 동영상을 만들 수 있도록 제공되었다. 그러나 현재의 방법은 사진과 사진간의 연관성이 결여되었을 뿐 아니라, 음악의 리듬과 관계없이 일정 시간 간격에 따라 사진이 변화한다. 본 논문에서는 음악 분석을 통하여 음악 리듬에 따라 사진이 변화하고, 사진 분석을 통하여 사진 간의 연관성을 나타낼 수 있는 동영상 제작 방법을 제안한다. 음악 분석은 RMS를 이용하여 리듬이 강한 부분을 찾았으며, 사진 분석은 구조 단순도와 얼굴 영역 추출을 이용하여 인물 사진과 풍경사진으로 분류하였다. 사진 분석은 86.4%의 성공률을 보였으며, 이를 이용하여 음악 리듬에 맞은 사진 변화 위치와 사진간의 연관성을 가진 순서 배치를 할 수 있었다. 따라서 음악 분석과 사진 분석을 이용한 자연스럽고 효과적인 동영상을 제작 할 수 있다.

Keywords

References

  1. Wikipedia, 'User-generated content,' http://en.wikipedia.org/wiki/User-generated_content
  2. 김문형, 남제호, 홍진우, 'UCC의 동향 및 전망,; 정보통신연구진흥원, ITFIND 주간기술동향, 제1262호, 2006. 9
  3. Enid Burns, 'Nealy 50MM Americans Create Web Content,' ClickZ Network, ClickZ News, May 30, 2006
  4. The Guardian, 'A Bigger bang,' The guardian Weekend, Nov. 2006
  5. EnVible(Learners Video Network), http://www.envible.com/
  6. Haruto Takeda, Takuya Nishimoto, Shigeki Sagayama, 'Rhythm and Tempo Recognition of Music Performance from a probabilistic Approach,' ISMIR 2004, pp.357-364, Oct. 2004
  7. N. Whiteley, A. T. Cemgil, and S. J. Godsill. 'Bayesian modelling of temporal structure in musical audio,' ISMIR 2006, pp.29-34, Victoria, 2006
  8. Takaaki Shiratori, Atsushi Nakazawa, Katsushi Ikeuchi, 'Dancing-to-Music Character Animation,' In Computer Graphics Forum, Vol.25, No.3, May. 2006
  9. Jon C. Schmidt, Janet C. Rutledge, 'Multichannel Dynamic Range Compression For Music Signals,' Acoustics, Speech, and Signal Processing 1996, Vol.2, pp.1013-1016, Atlanta, May. 1996
  10. Rainer Lienhart, Jochen Maydt, 'An Extended Set of Hear-like Features for Rapid Object Detection,' IEEE ICIP 2002, Vol.1, pp.900-903, Sep. 2002
  11. A. Mohan, C. Papageorgiou, T. Poggio, 'Example-based object detection in images by components,' IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23, No.4, pp 349-361, Apr. 2001 https://doi.org/10.1109/34.917571
  12. Mohamed E. El-Hawary, 'Principles of Electric Machines with Power Electronic Applications,' 2nd Ed, 496page, Wiley-IEEE Press, Jun. 2002
  13. J. Abel, D. Berners, 'On Peak-Detecting and RMS Feedback and Feedforward Compressors,' Audio Engineering Society, ISSU 5914, Britain, 2003
  14. Karl-Heinz, Brandenburg, 'MP3 and MC Explained,' AES, 17th Interenational Conference, Florence, Italy, Aug. 1999
  15. S. Kiranyaz, A.F. Qureshi, M.Gabbouj, 'A fuzzy approach towards perceptual classification and segmentation of MP3/AAC audio,' International Symposium on Control, Communications and Signal Processing, pp.727-730, Hammamet, Tunisia, Mar. 2004 https://doi.org/10.1109/ISCCSP.2004.1296516