• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권4호
• /
• pp.1128-1139
• /
• 2012

With the development of three-dimensional display and related technologies, depth video coding becomes a new topic and attracts great attention from industries and research institutes. Because (1) the depth video is not a sequence of images for final viewing by end users but an aid for rendering, and (2) depth video is simpler than the corresponding color video, fast algorithm for depth video is necessary and possible to reduce the computational burden of the encoder. This paper proposes a fast mode decision algorithm for depth video coding based on depth segmentation. Firstly, based on depth perception, the depth video is segmented into three regions: edge, foreground and background. Then, different mode candidates are searched to decide the encoding macroblock mode. Finally, encoding time, bit rate and video quality of virtual view of the proposed algorithm are tested. Experimental results show that the proposed algorithm save encoding time ranging from 82.49% to 93.21% with negligible quality degradation of rendered virtual view image and bit rate increment.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권4호
• /
• pp.1730-1747
• /
• 2018

Multi-view video plus depth (MVD) is a mainstream format of 3D scene representation in free viewpoint video systems. The advanced 3D extension of the high efficiency video coding (3D-HEVC) standard introduces new prediction tools to improve the coding performance of depth video. However, the depth video in 3D-HEVC is time consuming. To reduce the complexity of the depth video inter coding, we propose a fast coding unit (CU) size and mode decision algorithm. First, an off-line trained Bayesian model is built which the feature vector contains the depth levels of the corresponding spatial, temporal, and inter-component (texture-depth) neighboring largest CUs (LCUs). Then, the model is used to predict the depth level of the current LCU, and terminate the CU recursive splitting process. Finally, the CU mode search process is early terminated by making use of the mode correlation of spatial, inter-component (texture-depth), and inter-view neighboring CUs. Compared to the 3D-HEVC reference software HTM-10.0, the proposed algorithm reduces the encoding time of depth video and the total encoding time by 65.03% and 41.04% on average, respectively, with negligible quality degradation of the synthesized virtual view.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.601-615
• /
• 2009

본 논문에서는 3D-Video에서 가상시점 영상을 생성하는데 필요한 깊이정보 맵의 효율적인 부호화 방법을 제안한다. 가상시점 영상은 실사 영상의 깊이정보 맵을 이용한 시점보간(View Interpolation) 방법으로 생성된다. 일반적으로 깊이정보 맵의 부호화에는 H.264 등의 자연영상에 대한 동영상 부호화 방법을 그대로 적용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 특성을 고려하지 않은 방법이다. 따라서 본 논문에서는 깊이정보 맵의 영상특성을 고려하여, 맵 정보를 그레이 코드로 변환한 후 비트평면 단위로 부호화하는 방법과, H.264 부호화 방법을 블록단위로 적응적으로 선택하여 부호화하는 방법을 제안하였다. 실험결과로서 제안하는 방법의 성능은 H.264 부호화 방법에 비하여, BD-PSNR이 평균 0.5dB 향상되고, BD-rate는 평균 7.43% 감소되어 부호화효율이 우수함을 확인할 수 있었다. 또한 복원된 깊이정보 맵을 이용하여 생성된 가상시점 영상 간의 비교에서 제안하는 방법이 H.264 부호화 방법에 비해 주관적 화질이 크게 향상된 것을 확인할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제18권2호
• /
• pp.149-157
• /
• 2015

The 3D-AVC standard aims at improving coding efficiency by applying new techniques for utilizing intra, inter and view predictions. 3D video scenes are rendered with existing texture video and additional depth map. The depth map comes at the expense of increased computational complexity of the encoding process. For real-time applications, reducing the complexity of 3D-AVC is very important. In this paper, we present a fast intra mode decision algorithm to reduce the complexity burden in the 3D video system. The proposed algorithm uses similarity between texture video and depth map. The best intra prediction mode of the depth map is similar to that of the corresponding texture video. The early decision algorithm can be made on the intra prediction of depth map coding by using the coded intra mode of texture video. Adaptive threshold for early termination is also proposed. Experimental results show that the proposed algorithm saves the encoding time on average 29.7% without any significant loss in terms of the bit rate or PSNR value.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권7호
• /
• pp.3018-3038
• /
• 2020

In the stereoscopic or multiview display, the depth video illustrates visual distances between objects and camera. To promote the computational efficiency of depth video encoder, we exploit the intra prediction of depth videos under Versatile Video Coding (VVC) and observe a diverse distribution of intra prediction modes with different coding unit sizes. We propose a hybrid scheme to further boost fast depth video coding. In the first stage, we adaptively predict the HADamard (HAD) costs of intra prediction modes and initialize a candidate list according to the HAD costs. Then, the candidate list is further improved by considering the probability distribution of candidate modes with different CU sizes. Finally, early termination of CU splitting is performed at each CU depth level based on the Bayesian theorem. Our proposed method is incorporated into VVC intra prediction for fast coding of depth videos. Experiments with 7 standard sequences and 4 Quantization parameters (Qps) validate the efficiency of our method.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1093-1103
• /
• 2009

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권1호
• /
• pp.242-259
• /
• 2015

Three-dimensional video coding is one of the main challenges restricting the widespread applications of 3D video and free viewpoint video. In this paper, a novel fractal coding algorithm with motion-vector-field-based motion estimation for depth map sequence is proposed. We firstly add pre-search restriction to rule the improper domain blocks out of the matching search process so that the number of blocks involved in the search process can be restricted to a smaller size. Some improvements for motion estimation including initial search point prediction, threshold transition condition and early termination condition are made based on the feature of fractal coding. The motion-vector-field-based adaptive hexagon search algorithm on the basis of center-biased distribution characteristics of depth motion vector is proposed to accelerate the search. Experimental results show that the proposed algorithm can reach optimum levels of quality and save the coding time. The PSNR of synthesized view is increased by 0.56 dB with 36.97% bit rate decrease on average compared with H.264 Full Search. And the depth encoding time is saved by up to 66.47%. Moreover, the proposed fractal depth map sequence codec outperforms the recent alternative codecs by improving the H.264/AVC, especially in much bitrate saving and encoding time reduction.

• 한국산업정보학회논문지
• /
• 제21권6호
• /
• pp.23-29
• /
• 2016

본 논문은 구형 객체가 촬영된 깊이 영상에서 깊이 정보를 통하여 제일 근접한 구를 찾아내어 깊이 영상을 부호화하는 방법을 제안한다. 블록단위로 분할된 깊이 영상에 대해 최소자승법을 통해 촬영된 구형 객체와 제일 근접한 구의 형태를 찾는다. 그 후 찾아낸 구의 형태로 깊이 값을 예측하고, 측정된 깊이 값과의 오차를 통해 깊이 영상을 부호화한다. 또한, 블록 내의 부호화된 각 깊이 화소들과 찾아낸 구의 인자 정보를 같이 부호화한다. 제안된 방법으로 구형 객체에 대해 기존 DPCM 방법보다 최대 81% 이상의 부호화 효율 향상이 이루어졌다.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.551-560
• /
• 2009

본 논문에서는 MPEG 3차원 비디오 표준 깊이정보 맵에 대한 효율적인 무손실 압축 방법을 제안한다. 일반적으로 깊이정보 맵을 부호화할 때 자연영상에 적용되는 H.264 등의 동영상 부호화 방법을 그대로 사용하고 있는데, 이러한 부호화 방법은 깊이정보 맵의 영상특성을 고려하지 않은 방법이다. 본 논문에서는 깊이정보 맵의 무손실 압축 방법으로 MPEG-4 Part-2 Visual의 이진 형상 부호화를 이용한 비트평면 부호화 방법을 제안하였다. 실험결과로서 제안하는 방법이 28.91:1의 압축률을 실현하였고, 화면 내 예측만을 수행한 경우에 JPEG-LS보다 24.84%, JPEG-2000보다 39.35%, H.264 (CAVLC 적용)보다 30.30% 그리고 H.264 (CABAC 적용)보다 16.65% 정도의 비트량 절감을 실현하였고, 또한 화면 내 예측뿐만 아니라 화면 간 예측을 모두 수행한 경우에 H.264 (CAVLC 적용)보다 36.22% 그리고 H.264 (CABAC 적용)보다 23.71% 정도의 비트량 절감을 실현할 수 있었다.

• 방송공학회논문지
• /
• 제20권4호
• /
• pp.545-556
• /
• 2015

차세대 3차원 디스플레이 및 서비스를 지원하기 위한 HEVC 기반 3차원 비디오 코딩 표준(3D-HEVC)이 최근 완료되었다. 3D-HEVC는 소수의 텍스처 영상(Texture image)과 깊이 영상(Depth map image)으로 구성된 Multi-view plus depth (MVD) 포맷을 효율적으로 처리하기 위한 표준으로써 H.264/AVC와 HEVC에서 사용하는 단일 계층 부호화 방법과 더불어 텍스처 영상들간, 깊이 영상들간, 텍스처 영상과 깊이 영상들간의 예측을 수행하는 인터-컴포넌트 부호화 기술을 추가적으로 사용한다. 본 논문에서는 3D-HEVC 표준의 일반적인 코딩 구조, 3D-HEVC 기술의 기반이 되는 인터-컴포넌트 부호화 기술 및 인터-컴포넌트 부호화 효율에 중요한 영향을 미치는 시차 벡터(Disparity vector) 유도 기술에 대해 상세히 소개한다. 또한 본 논문에서는 3D-HEVC의 부호화 효율을 검증하기 위해 각 시점을 HEVC로 부호화한 방법과 단순 다시점 확장 표준인 MV-HEVC와의 성능평가를 수행한다.