초협대역 비디오 전송을 위한 심층 신경망 기반 초해상화를 이용한 스케일러블 비디오 코딩

Scalable Video Coding using Super-Resolution based on Convolutional Neural Networks for Video Transmission over Very Narrow-Bandwidth Networks

Abstract

매우 제한된 전송 대역을 이용하여 비디오 데이터를 전송해야 하는 필요성은, 광대역을 통한 비디오 서비스가 활성화되어 있는 현 시점에서도 꾸준히 존재한다. 본 논문에서는 초협대역 네트워크를 통한 저해상도 비디오 전송을 위해, 공간 확장형 스케일러블 비디오 코딩 프레임워크에서 기본 계층의 부호화된 프레임을 심층 신경망 기반 초해상화 기법을 이용하여 업스케일링 하여 향상 계층 부호화 시에 예측 영상으로 활용하여 부호화 효율을 높이는 방법을 제안한다. 기존의 스케일러블 HEVC (High efficiency video coding) 표준에서는 고정된 필터로 업스케일링을 하는데 비해, 본 논문에서는 초해상화 수행을 위해 학습된 심층신경망을 기존의 고정 업스케일링 필터를 대체하여 적용하는 스케일러블 비디오 코딩 프레임워크를 제안한다. 이를 위해 스킵 연결과 잔차 학습 기법 등이 적용된 심층 콘볼루션 신경망 구조를 제안하고, 비디오 코딩 프레임워크의 실제 응용 상황에 맞추어 학습시켰다. 입력 해상도가 $352{\times}288$이고 프레임율이 8fps인 영상을 110kbps로 부호화 하는 응용 상황에서, 기존의 스케일러블 HEVC 프레임워크에 비해 제안하는 스케일러블 비디오 코딩 프레임워크의 화질이 더 높고 부호화 효율이 우수함을 확인할 수 있었다.

The necessity of transmitting video data over a narrow-bandwidth exists steadily despite that video service over broadband is common. In this paper, we propose a scalable video coding framework for low-resolution video transmission over a very narrow-bandwidth network by super-resolution of decoded frames of a base layer using a convolutional neural network based super resolution technique to improve the coding efficiency by using it as a prediction for the enhancement layer. In contrast to the conventional scalable high efficiency video coding (SHVC) standard, in which upscaling is performed with a fixed filter, we propose a scalable video coding framework that replaces the existing fixed up-scaling filter by using the trained convolutional neural network for super-resolution. For this, we proposed a neural network structure with skip connection and residual learning technique and trained it according to the application scenario of the video coding framework. For the application scenario where a video whose resolution is $352{\times}288$ and frame rate is 8fps is encoded at 110kbps, the quality of the proposed scalable video coding framework is higher than that of the SHVC framework.

그림 1. 공간적 확장 스케일러블 부호화 알고리즘 개념도 Fig. 1. A block diagram of a scalable video coding with spatial scalability

그림 2. 심층신경망 기반 업스케일링 네트워크 구조 Fig. 2. Structure of proposed up-sampling network based on a convolutional neural network

그림 3. 성능 평가에 이용된 실험 영상 Fig. 3. Test sequences for performance evaluation

그림 4. bus 영상의 향상 계층 65 kbps 부호화 결과 영상 (41번째 프레임) Fig. 4. Decoded frame of bus of the enhancement layer at 65 kbps (41st frame)

그림 5. calendar 영상의 향상 계층 45 kbps 부호화 결과 영상 (42번째 프레임) Fig. 5. Decoded frame of calendar of the enhancement layer at 45 kbps (42nd frame)

그림 6. waterfall 영상의 향상 계층 85 kbps 부호화 결과 영상 (64번째 프레임) Fig. 6. Decoded frame of waterfall of the enhancement layer at 85 kbps (64th frame)

표 1. 기존 SHVC 프레임워크와 제안 deepSHVC 프레임워크의 부호화 성능 Table 1. Coding performance of the conventional SHVC and the proposed deepSHVC framework