DOI QR코드

DOI QR Code

Temporal Prediction Structure for Multi-view Video Coding

다시점 비디오 부호화를 위한 시간적 예측 구조

  • 윤효순 (전남도립대학교 보건의료과) ;
  • 김미영 (전남도립대학교 보건의료과)
  • Received : 2011.03.29
  • Accepted : 2012.08.19
  • Published : 2012.09.30

Abstract

Multi-view video is obtained by capturing one three-dimensional scene with many cameras at different positions. Multi-view video coding exploits inter-view correlations among pictures of neighboring views and temporal correlations among pictures of the same view. Multi-view video coding which uses many cameras requires a method to reduce the computational complexity. In this paper, we proposed an efficient prediction structure to improve performance of multi-view video coding. The proposed prediction structure exploits an average distance between the current picture and its reference pictures. The proposed prediction structure divides every GOP into several small groups to decide the maximum index of hierarchical B layer and the number of pictures of each B layer. Experimental results show that the proposed prediction structure shows good performance in image quality and bit-rates. When compared to the performance of hierarchical B pictures of Fraunhofer-HHI, the proposed prediction structure achieved 0.07~0.13 (dB) of PSNR gain and was down by 6.5(Kbps) in bitrate.

다시점 비디오는 3차원 정보를 표현하기 위한 영상으로 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상이다. 영상들 사이에 존재하는 시간적 상관성과 화면간 상관성을 이용하는 다시점 비디오 부호화는 카메라의 수에 비례하여 데이터의 양이 늘어나기 때문에 계산량을 줄일 수 있는 다시점 비디오 부호화 기술이 필요하다. 본 논문에서는 다시점 비디오의 부호화 성능을 향상시키기 위한 효율적인 예측구조를 제안한다. 제안한 예측 구조는 다시점 비디오의 부호화 효율을 높이기 위하여 부호화되는 현재 화면과 현재 화면이 참조하는 참조 화면들과의 평균 거리, B계층 최대 인덱스 그리고 각 Bi 계층의 화면 수를 고려하였다. 제안한 예측 구조의 성능을 참조 예측 구조의 성능과 비교하였을 때 영상 화질 면에 있어서 제안한 예측 구조가 Fraunhofer-HHI의 계층적 B화면 구조보다 약 0.07~0.13 (dB) 성능 향상을 보였다. 발생되는 평균 초당 비트량에 있어서 제안한 예측 구조가 Fraunhofer-HHI의 계층적 B화면 구조보다 최대 6.5(Kbps) 감소하였다.

Keywords

References

  1. 호요성, 이천, "3D 비디오 부호화를 위한 표준화 동향과 요소 기술," 한국멀티미디어학회지, 제14권, 제2호, pp. 24-36, 2010.
  2. ITU-T Rec. & ISO/IEC 14496-10 AVC, Advanced Video Coding for Generic Audio Visual services, 2005.
  3. ISO/IEC JTC1/SC29/WG11 N10357, Vision on 3D Video, 2009.
  4. A. Vetro, P. Pandic, H. Kimata, A. Smolic, and Y. Wang, Joint Multi-view Video Model (JMVM) 8.0, Joint Video Team of ISO/IEC JTC21/SC29/WG11 and ITU-T SG16 Q.6, JVT-AA207, Switzerland, 2008.
  5. P. Merkle, K. Muller, A. Smolic, and T. Wiegand, "Efficient Compression of Multi-view Video Exploiting Inter-view Dependencies Based on H.264/MPEG4-AVC," Proc. of IEEE International Conference on Multimedia and Exposition, pp. 1717-1720, 2006.
  6. P. Merkle, A. Smolic, K. Muller, and T. Wiegand, "Efficient Prediction Structures for Multiview Video Coding," IEEE Trans. Circuits and Systems for Video Technology, Vol. 17, No.11, pp. 1461-1473, Nov. 2007. https://doi.org/10.1109/TCSVT.2007.903665
  7. ISO/IEC JTC1/SC29/WG11, J oint Multiview Video Model (JMVM) 8, Doc. N9762, 2008.
  8. B. Zatt, M. Shafique, S. Bampi, and J. Henkel, "A Multi-Level Dynamic Complexity Reduction Scheme for Multiview Video Coding," IEEE International Conference on Image Processing( ICIP) , pp. 761-764, 2011.
  9. P.K. Park, K.J. Oh, and Y.S. Ho, "Efficient View-temporal Prediction Structures for Multi-view Video Coding," Electronics Letters, Vol.44, No.2, pp. 102-103, 2008. https://doi.org/10.1049/el:20082082
  10. R.L. He, "A Multiview Video Coding Method with Adaptive Selection of Reference Frame Modes," Journal of Computer-aided Design And Computer Graphics, Vol.30, No.12, pp. 2205-2211, 2007.
  11. F. Lu, P. An, Z. Zhang, and L. Shen, "Multiview Video Coding Based on Sequence Correlation," Audio Language and Image Processing (ICALIP) , pp. 1227-1232, 2010.
  12. 최정현; 이경환, "움직임의 시간적 연속성을 이용한 적응적 움직임 추정 알고리즘," 한국멀티미디어학회논문지, v.7, no.8, pp.1025-1034, 2004년 8월
  13. P. Merkle, "Efficient Prediction Structures for Multiview Video Coding," IEEE TCSVT, Vol. 17, No. 11, pp. 1461-1473, 2007.

Cited by

  1. Low Complexity Motion Estimation Search Method for Multi-view Video Coding vol.16, pp.5, 2013, https://doi.org/10.9717/kmms.2013.16.5.539
  2. 다시점 영상 및 깊이 영상의 효율적인 표현을 위한 순차적 복원 기반 포인트 클라우드 생성 기법 vol.23, pp.2, 2012, https://doi.org/10.9717/kmms.2020.23.2.166