2차원 동영상으로부터 다시점 동영상 생성 기법

Mdlti-View Video Generation from 2 Dimensional Video

  • 백윤기 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 최미남 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 박세환 (광운대학교 전자공학과 디지털 미디어 연구실) ;
  • 유지상 (광운대학교 전자공학과 디지털 미디어 연구실)
  • 발행 : 2008.01.31

초록

본 논문에서는 2차원 동영상에서 다시점 동영상을 생성하는 방법을 제안한다. 다시점 동영상의 생성을 위해 공간적으로 색상 정보, 시간적으로 움직임 정보를 이용한다. 색상 정보는 객체의 정확한 외곽을 추출하기 위하여 사용된다. 색상의 동질영역을 구분하기 위하여 휘도와 색차 정보를 이용하며, 움직임 정보를 구하기 위하여 정합창을 이용한 화소기반의 움직임 예측을 수행한다. 다음 단계는 색상 정보와 움직임 예측을 통해 얻어진 결과를 결합한다. 움직임 예측을 통해 얻은 움직임의 세기 값을 색상정보를 이용해 얻은 각 영역에 할당하고 이를 깊이 값으로 변환한다. 2차원의 입력 영상과 변환되어진 깊이 정보를 통해 회전변환 과정을 거쳐 최종적으로 다시점 동영상을 생성한다. 기존의 2차원 동영상의 3차원 동영상 변환과의 주관적 평가를 통해 효과적으로 다시점 영상을 생성함을 확인 할 수 있었다.

In this paper, we propose an algorithm for generation of multi-view video from conventional 2 dimensional video. Color and motion information of an object are used for segmentation and from the segmented objects, multi-view video is generated. Especially, color information is used to extract the boundary of an object that is barely extracted by using motion information. To classify the homogeneous regions with color, luminance and chrominance components are used. A pixel-based motion estimation with a measurement window is also performed to obtain motion information. Then, we combine the results from motion estimation and color segmentation and consequently we obtain a depth information by assigning motion intensity value to each segmented region. Finally, we generate multi-view video by applying rotation transformation method to 2 dimensional input images and the obtained depth information in each object. The experimental results show that the proposed algorithm outperforms comparing with conventional conversion methods.

키워드

참고문헌

  1. R. Franich, R. Lagendijk and R. Horst, Reference model for hardware demonstrator implementation, RACE DISTIMA deliverable 45/TUD/IT/DS/B/003/bl, October, 1992
  2. A. Redert, et al., "ATTEST : Advanced Three-Dimensional Television System Technologies", 3D Data Processing Visualization and Transmission, 2002. First International Symposium, pp.313-319, Jun, 2002
  3. 3DTV NoE, http://www.3dtv-research.org/
  4. MPEG/ISO/IEC JTC1/SC29/WG11 "Subjective test results for the CfP on multi-view video coding," N7779, Bangkok, Thailand, Jan. 2006
  5. C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV", In Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, pages 93-104, San Jose, CA, USA, January 2004
  6. 김성열, 이상법, 김유경, 호요성, "깊이맵의 정보 분해와 경계 평탄 필터링을 이용한 다시점영상 생성 방법", 한국방송공학회 논문지, 제 11권 제 4호, pp.471-482, 2006
  7. 서강욱, 한충신, 유지상, "다시점 영상 합성을 위한 깊이 정보의 전처리", 한국방송학회논문지, 제11권 제1호, pp.91-99, 2006
  8. J. Ross, "Stereopsis by binocular delay", In Nature, Vol.248, pp.354-364, 1974 https://doi.org/10.1038/248354a0
  9. 김만배, 박상훈, "키 프레임을 이용하는 2차원 동영상의 3차원 입체 변환", HCI 학회, 2002.2
  10. 홍호기, 백윤기, 이승현, 김동욱, 유지상, "2DH.264 동영상의 3D 입체 변환", 한국통신학회논문지, 제31권 제12C호, pp.1208-1215, 2006
  11. Y. Matsumoto, H. Terasaki, K. Sugimoto, T. Arakawa, "Coversion System of Monocular Image Sequence to Stereo Using Motion Parallax," SPIE Photonic West, Vol.3012, pp.108-115, 1997
  12. S. Cooray, N. O'Connor, S. Marlow, N. Murphy, T. Curran, "Semi-automatic video object segmentation using recursive shortest spanning tree and binary partition tree" WIAMIS 2001 - Workshop on Image Analysis for Multimedia Interactive Services, Tampere, Finland, 16-17 May 2001
  13. Y. Wang, J. Ostermann, Y. Zhang, "Video processing and communication," Prentice Hall, 2002
  14. 박종일, 이노우에세이키, "여러 대의 카메라를 이용한 계층적 깊이정보 추출 알고리즘," 한국방송공학회 논문지 제2권 제1호, pp. 45-56, 1997
  15. 장세훈, 한충신, 배진우, 유지상, "깊이 정보를 이용한 실시간 다시점 스테레오 영상 합성", 한국통신학회 논문지 제 30권 제 4C호, pp. 239-246, 2005
  16. "Methodology for subjective assessment of the quality of television picture", ITU-R Recommendation BT.500-11