Journal of the Korea Society of Computer and Information (한국컴퓨터정보학회논문지)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지
DOI QR코드

DOI QR Code

A Method for Text Detection and Enhancement using Spatio-Temporal Information

시공간 정보를 이용한 자막 탐지 및 향상 기법

  • 정종면 (국립 목포해양대학교 해양전자통신공학부)
  • Published : 2009.08.31
Download PDF
⟨ Previous Next ⟩

Abstract

Text information in a digital video provides crucial information to acquire semantic information of the video. In the proposed method. text candidate regions are extracted from input sequence by using characteristics of stroke and text candidate regions are localized by using projection to produce text bounding boxes. Bounding boxes containing text regions are verified geometrically and each bounding box existing same location is tracked by calculating matching measure. which is defined as the mean of absolute difference between bounding boxes in the current frame and previous frames. Finally. text regions are enhanced using temporal redundancy of bounding boxes to produce final results. Experimental results for various videos show the validity of the proposed method.

디지털 비디오에서 텍스트 정보는 비디오 데이터의 시청각적인 정보를 보강하고 부가 정보를 제공하기 때문에 방대한 멀티미디어의 내용을 예측할 수 있는 중요한 단서를 제공한다. 본 논문에서 제안된 방법은 주어진 영상열로부터 자막의 획 특징을 이용하여 자막을 탐지하고, 프로젝션을 이용하여 자막의 위치를 찾는다. 찾아진 자막을 포함하는 바운딩박스에 대한 기하학적인 검증을 거친 후, 서로 인접하는 프레임에 있는 바운딩박스 중 공간적으로 동일한 위치의 바운딩박스에 대한 MAD를 이용하여 바운딩박스를 추적하고, 시간적 중복성을 이용하여 바운딩박스 영역의 화질을 향상시킨다. 다양한 비디오에 대한 실험 결과는 제안된 방법의 타당성을 보인다.

Keywords

References

  1. 신성윤, 표성배, 이양원, "대용량 비디오 데이터베이스 구축을 위한 비디오 개요 추출," 한국컴퓨터정보학회논문지, 제14권 1호, 255-265쪽, 2006년.
  2. K. Jung, K. Kim, A. Jain, "Text Information extraction in images and video: a survey," Pattern Recognition, vol. 37, pp. 977-997, May 2004. https://doi.org/10.1016/j.patcog.2003.10.012
  3. M. R. Lyu, J, Song, and M. Cai, "A Comprehensive Method for Multilingual Video Text Detection, Localization, and Extraction," IEEE Trans. on CSVT., vol. 15n no 2, Feb. 2005.
  4. R. Lienhart and A. Wernicke, "Localizing and Segmenting Text in Images and Videos," IEEE Trans. on Circuits and Systems for Video technology, vol. 12, no. 4, pp. 256-268, Apr. 2002. https://doi.org/10.1109/76.999203
  5. Y. Hasan and L. Karam, "Morphological Text Extraction from Images," IEEE Trans. on Image Processing, vol. 9, no. 11, Nov. 2000.
  6. C. W. Lee, K. Jung, H. J. Kim, "Automatic text detection and removal in video sequences," Pattern Recognition Letters, vol. 24, pp. 2607-2623, Nov. 2003. https://doi.org/10.1016/S0167-8655(03)00105-3
  7. 정종면, 차지훈, 김규헌, "디지털 비디오를 위한 획기반 자막 추출 알고리즘," 퍼지 및 지능시스템학회 논문지, vol. 17, no. 3, pp. 297-303, 2007년 6월
  8. H. Li, D. Doerman, and O. Kia, "Automatic text detection and tracking in digital video," IEEE Trans. on Image Processing, vol. 9, no. 1, pp. 147-156, Jan. 2000. https://doi.org/10.1109/83.817607
  9. O. Shiku, Y. Xiao, H. Yan, "Extraction of character patterns in different styles and orientations from natural scene images," Proc. of 2004 Int. Symp. on Intelligent Multimedia, Video and Speech Processing, pp. 719-722, Oct. 2004.
  10. A. Jian and S. Bhattacharjee, "Text segmentation using gabor filters for automatic document processing," Machine Vis. Applicat., vol. 5, pp. 169-184, 1992. https://doi.org/10.1007/BF02626996
  11. V. Wu, R. Manmatha, and E. Riseman, "Textfinder: An automatic system to detect and recognize text in images," IEEE Trans. on Pattern Analysis and Machine Intelligent, vol. 21. no. 11, pp. 1224-1229, Nov. 1999. https://doi.org/10.1109/34.809116
  12. A. Jain and B. Yu, "Automatic text location in images and video frames," Pattern Recognition, vol. 31. no. 12, pp. 2055-2076, 1998. https://doi.org/10.1016/S0031-3203(98)00067-3
  13. M. Cai, J. Song, and M. Lyu, "A new approach for video text detection," Proc. of Int. Conf. on Image Process, pp. 117-120, Sep. 2002.
  14. A. Wernicke and R. Lienhart, "On the segmentation of text in videos," Proc. of IEEE Int. Conf. on Multimedia Expo, vol. 3, pp. 1511-1514, Jul. 2000.
  15. S. Antani, D. Crandall, and R. Kasturi, "Robust extraction of text in video," 15th Int. Conf. on Pattern Recognition, vol. 1, pp. 831-834, Sep. 2001.
  16. W. Huang, P. Shivakumara and C. L. Tan, "Detecting Moving Text in Video Using Temporal Information," Proceedings of 19th ICPR, Dec. 2008.
  17. D. Palma, J. Ascenso, F. Pereira, "Automatic Text Extraction in Digital Video Based on Motion Analysis," LNCS 3211 Image Analysis and Recognition, pp. 588-596, 2004.