DOI QR코드

DOI QR Code

MMT 프로토콜 기반의 360도 VR 비디오 전송을 위한 개선된 QER 선택 알고리듬

An Advanced QER Selection Algorithm Based on MMT Protocol for 360-Degree VR Video Streaming

  • 김아영 (연세대학교 컴퓨터정보통신공학부) ;
  • 안은빈 (연세대학교 컴퓨터정보통신공학부) ;
  • 서광덕 (연세대학교 컴퓨터정보통신공학부)
  • Kim, A-young (Division of Computer and Telecommunications Engineering, Yonsei University) ;
  • An, Eun-bin (Division of Computer and Telecommunications Engineering, Yonsei University) ;
  • Seo, Kwang-deok (Division of Computer and Telecommunications Engineering, Yonsei University)
  • Received : 2019.07.29
  • Accepted : 2019.10.21
  • Published : 2019.11.30

Abstract

360도 VR(Virtual Reality) 비디오 서비스에 대한 관심이 증가함에 따라서 대용량의 VR 비디오 데이터를 압축하여 전송하기 위한 기술이 빠르게 발전하고 있다. QER(Quality Emphasized Region) 기반의 전송 기법은 360도 VR 영상을 영역별로 나누고 차별화된 화질의 영상으로 전송함으로써 몰입감을 유지하고 대역폭의 낭비를 줄이는 뷰포트 적응적 360도 비디오 스트리밍 시스템(Viewport-Adaptive 360-Degree Video Streaming System)의 일종으로 개발되었다. 사용자 시점에 해당하는 특정 QER을 선택하기 위해서는 QEC(Quality Emphasis Center) 거리 계산 과정과 QER 전환을 요청하는 시그널링 과정이 필요하다. QEC 거리계산은 QER의 개수만큼 계산을 반복하기 때문에 클라이언트에게 높은 계산 복잡도를 요구한다. 또한 QER 전환 요청을 위한 시그널링 메시지의 전송 주기는 효율적 대역폭 사용과 원활한 QER 전환 사이에서 서로 절충적인(trade off) 관계를 갖는다. 본 논문에서는 이러한 문제를 해결하기 위해 MMT 프로토콜 기반의 개선된 QER 선택 알고리듬을 제안한다. 개선된 QER 선택 알고리듬은 미리 준비된 QER_ID_MAP을 사용하여 시스템 계산 복잡도를 줄이는 동시에, 시그널링 주기를 적응적으로 수정하여 네트워크의 부담을 최소화하고 적시에 적절하게 QER 변환이 가능하도록 제안된 방법이다.

As interests in 360-degree VR (Virtual Reality) video services enormously grow, compression and streaming technologies for VR video data have been rapidly developed. Quality Emphasized Region (QER) based streaming scheme has been developed as a kind of viewport-adaptive 360-degree video streaming technology for maintaining immersive experience and reducing bandwidth waste. For selecting a QER corresponding to the user's gaze coordinate, QER-based streaming scheme requires the calculation of Quality Emphasis Center (QEC) distance and signaling message delivery for requesting QER switching. QEC distance calculations require high computational complexity because of repeated calculations as many times as the number of QERs. Furthermore, the signaling message interval results in a trade-off relationship between efficient bandwidth usage and flexible QER switching. In this paper, we propose an improved QER selection algorithm based on MMT protocol to solve this problem. The proposed algorithm could achieve computational complexity reduction by using preprocessed QER_ID_MAP. Also, flexible QER switching could be achieved, as well as efficient bandwidth utilization by an adaptive adjustment of the signaling interval.

Keywords

References

  1. K. K. Sreedhar, A. Aminlou, M. M. Hannuksela, and M. Gabbouj, "Viewport-Adaptive Encoding and Streaming of 360-Degree Video for Virtual Reality Applications", 2016 IEEE International Symposium on Multimedia (ISM), San Jose, CA, pp. 583-586, 2016.
  2. A. Zare, A. Aminlou, M. M. Hannuksela, and M. Gabbouj, "HEVC-compliant Tile-based Streaming of Panoramic Video for Virtual Reality Applications", 24th ACM international conference on Multimedia (MM), Amsterdam, pp. 601-605, 2016.
  3. C. Concolato et al., "Adaptive Streaming of HEVC Tiled Videos Using MPEG-DASH", in IEEE Transactions on Circuits and Systems for Video Technology, vol. 28, no. 8, pp. 1981-1992, Aug. 2018. https://doi.org/10.1109/tcsvt.2017.2688491
  4. X. Corbillon, G. Simon, A. Devlic and J. Chakareski, "Viewport-adaptive navigable 360-degree video delivery", 2017 IEEE International Conference on Communications (ICC), Paris, pp. 1-7, 2017.
  5. ISO/IEC 23008-1:2017 (Second edition), "High efficiency coding and media delivery in heterogeneous environments - MPEG-H Part 1: MPEG Media Transport (MMT)", 2017.
  6. T. Jung, H. Lee, and K. Seo, "Overview on MPEG MMT Technology and Its Application to Hybrid Media Delivery over Heterogeneous Networks", Pacific Rim Conference on Multimedia, pp. 660-669, 2015.
  7. Y. Hu, S. Xie, Y. Xu and J. Sun, "Dynamic VR live streaming over MMT," 2017 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB), Cagliari, pp. 1-4, 2017.