Journal of Convergence for Information Technology (융합정보논문지)

Convergence Society for SMB (중소기업융합학회)
권호 표지
DOI QR코드

DOI QR Code

A scene search method based on principal character identification using convolutional neural network

컨볼루셔널 뉴럴 네트워크를 이용한 주인공 식별 기반의 영상장면 탐색 기법

  • Received : 2017.03.10
  • Accepted : 2017.04.05
  • Published : 2017.04.28
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we try to search and reproduce the image part of a specific cast from a large number of images. The conventional method must manually set the offset value when searching for a scene or viewing a corner. However, in this paper, the proposed method learns the main character 's face, then finds the main character in the image recognition and moves to the scene where the main character appears to reproduce the image. Data for specific performers is extracted and collected using crawl techniques. Based on the collected data, we learn using convolutional neural network algorithm and perform performance evaluation using it. The performance evaluation measures the accuracy by extracting and judging a specific performer learned in the extracted key frame while playing the drama. The performance confirmation of how quickly and accurately the learned scene is searched has obtained about 93% accuracy. Based on the derived performance, it is applied to the image service such as viewing, searching for person and detailed information retrieval per corner

본 논문은 대량의 영상에서 특정 출연자가 나오는 영상부분을 탐색하여 재생하고자 한다. TV영상 프로그램에서 주인공이나 특정 장면을 탐색 하려면 영상을 플레이하거나 코너를 설정하여 시청한다. 기존 방식은 장면 탐색이나 코너별 시청시 수동으로 offset값을 설정 하여야만 한다. 그러나 본 논문에서 제안하는 방식은 주인공 얼굴을 학습 시킨후 영상인식으로 주인공을 찾고 주인공이 등장하는 장면으로 이동하여 영상을 재생 하게 된다. 특정 출연자에 대한 데이터는 크롤링 기법을 활용하여 추출 및 수집한다. 수집된 데이터를 기반으로 컨볼루셔널 뉴럴 네트워크 알고리즘을 사용하여 학습하고 이를 이용하여 성능 평가를 진행한다. 성능 평가는 드라마를 재생하면서 추출된 키 프레임에서 학습 된 특정 출연자를 추출, 판단하는 방법으로 정확도를 측정한다. 학습된 장면을 얼마나 빨리 그리고 정확하게 탐색 하는지 성능 확인결과 약 93%의 정확도를 확보하였다. 도출된 성능을 기반으로 특정 장면만을 시청하는 코너별 시청, 인물 탐색 및 상세정보 retrieval 등 영상서비스에 응용 하고자 한다.

Keywords

References

  1. Q. Chen, N. D. Georganas and E. M. Petriu, "Real-time vision-based hand gesture recognition using haar-like features," Proceedings of the Instrumentation and Measurement Technology 2007, IMTC 2007, pp. 1-6, 2007. DOI: 10.1109/imtc.2007.379068
  2. P. Viola and M. J. Jones, "Robust real-time face detection," International journal of computer vision, Vol. 57, No. 2, pp. 137-154, May. 2004. DOI: 10.1023/B:VISI.0000013087.49260.fb
  3. R. Hsu, M. Abdel-Mottaleb and A. Jain, “Face detection in color images,” IEEE transactions on pattern analysis and machine intelligence, Vol. 24, No. 5, pp. 696-706, 2002. DOI: 10.1109/34.1000242
  4. Y. Hwang, H. Mun, J. Lee, "Face Recognition Systemp Technologies for Authentication System A Survey," Journal of IT Vonvergence Society for SMB, Vol. 5, No. 3, pp. 9-13, Sep. 2015.
  5. Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278-2324, 1998. DOI: 10.1109/5.726791
  6. Convolutional Neural Networks. Stanford.edu. [Internet] Avalilable: http://cs231n.github.io/ convolutIonal networks, Dec. 2016.
  7. A. Krizhevsky, I. Sutskever, G. Hinton, "Imagenet classification with deep convolutional neural networks," In Advances in neural information processing systems, pp. 1097-1105, 2012.
  8. A. Karpathy, G. Toderici, S. Shetty, T. Leung, R. Sukthankar, L. Fei-Fei, "Large-scale video classification with convolutional neural networks," In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pp. 1725-1732, 2014. DOI: 10.1109/cvpr.2014.223
  9. Convolution. Wikipedia. [Internet]. Available: https://en.wikipedia.org/wiki/Convolution
  10. Y. LeCun, Y. Bengio G. Hinton, "Deep learning "Nature, Vol. 521, No. 7553, pp. 436-444, 2015. DOI: 10.1038/nature14539
  11. R. Hecht-Nielsen, "Theory of the backpropagation neural network." Neural Networks 1. Supplement-1, pp. 445-448, 1988. DOI: 10.1016/0893-6080(88)90469-8
  12. M. Abadi, P. Barham, J. Chen, Z. Chen, A. Dav is, J. Dean, M. Kudlur, M. Devin, S. Ghemawat, G. Irving, M. Isard, M. Wicke, D. Murray, P. Tucker, "TensorFlow: A system for large-scale machine learning," Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation(OSDI). Savannah, Georgia, USA. 2016.