Journal of KIISE:Computing Practices and Letters (한국정보과학회논문지:컴퓨팅의 실제 및 레터)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지

An Effective Error-Concealment Approach for Video Data Transmission over Internet

인터넷상의 비디오 데이타 전송에 효과적인 오류 은닉 기법

  • 김진옥 (성균관대학교 정보통신공학부)
  • Published : 2002.12.01
Download PDF
⟨ Previous Next ⟩

Abstract

In network delivery of compressed video, packets may be lost if the channel is unreliable like Internet. Such losses tend to of cur in burst like continuous bit-stream error. In this paper, we propose an effective error-concealment approach to which an error resilient video encoding approach is applied against burst errors and which reduces a complexity of error concealment at the decoder using data hiding. To improve the performance of error concealment, a temporal and spatial error resilient video encoding approach at encoder is developed to be robust against burst errors. For spatial area of error concealment, block shuffling scheme is introduced to isolate erroneous blocks caused by packet losses. For temporal area of error concealment, we embed parity bits in content data for motion vectors between intra frames or continuous inter frames and recovery loss packet with it at decoder after transmission While error concealment is performed on error blocks of video data at decoder, it is computationally costly to interpolate error video block using neighboring information. So, in this paper, a set of feature are extracted at the encoder and embedded imperceptibly into the original media. If some part of the media data is damaged during transmission, the embedded features can be extracted and used for recovery of lost data with bi-direction interpolation. The use of data hiding leads to reduced complexity at the decoder. Experimental results suggest that our approach can achieve a reasonable quality for packet loss up to 30% over a wide range of video materials.

압축한 비디오 데이타를 전송할 때 인터넷과 같이 네트워크 채널이 불안정한 경우 패킷이 분실될 가능성이 높다. 패킷 분실은 연속적 비트 열에 오류가 발생하는 버스트 오류 형태로 일어난다. 본 논문에서는 버스트 오류를 은닉 처리하는데 효과적인 오류 내성 기법을 적용하는 동시에 데이타 숨김을 이용하여 디코더의 계산 복잡도를 줄인 빠른 오류 은닉 방법을 제안한다. 오류 은닉 효과를 높이기 위해, 인코더에서는 네트워크 채널의 버스트 오류에 강건하도록 비디오 데이타에 공간적, 시간적 영역에 대한 오류 내성 기법을 적용한다. 공간적 오류 내성 기법으로는 패킷 분실이 발생한 오류 블록을 분리하는데 효과적인 블록 셔플링을 적용하고 시간적 오류 내성 기법으로는 움직임 벡터의 프레임간 패리티 비트를 데이터 숨김 방법으로 내용 데이타에 삽입, 전송하여 디코더에서 분실된 패킷을 처리한다. 비디오 데이타는 전송 후 디코더에서 오류 은닉 처리하는데 디코더에서 주변 정보를 이용하여 오류 비디오 블록을 보간하는 것은 계산이 복잡하여 비용이 많이 든다. 따라서 본 연구에서는 비디오 인코딩 단계에서 비디오 블록의 에지 특징을 추출 후 이 특징 데이타를 원 데이타에 숨겨 전송하고 전송 시 비디오 데이타가 손상되면 디코더에서 숨겨 온 비디오 블록의 특징을 추출하여 쌍선형 보간법을 통해 전송 시 발생한 오류를 은닉 처리한다. 데이타 숨김을 이용하면 디코더의 계산 복잡도는 낮아진다. 본 논문의 실험 결과는 제안 방법이 비디오의 패킷 분실이 30%에 달하는 경우에도 이를 은닉 처리하여 인지 가능한 품질의 비디오 데이타를 보장한다.

Keywords

References

  1. J. M. Boyce and R. D. Gaglianello, 'Packet loss effects on MPEG video sent over the public Internet,' ACM Multimedia'98, pp.181-190, 1998 https://doi.org/10.1145/290747.290770
  2. U. Horn, K. Stuhlmuller, M. Link and B. Girod, 'Robust Internet video transmission based on scalable coding and unequal error protection,' Image Communication, Special Issue on Real-time Video over the Internet, pp. 77-94, 15(1-2), Sept., 1999 https://doi.org/10.1016/S0923-5965(99)00025-9
  3. W. Zeng and B. Liu, 'Geometric structure-based error concealment with novel application in block-based low bit rate coding,' IEEE Transaction on CSVT, pp. 648-665, June 1999 https://doi.org/10.1109/76.767129
  4. H. Sun and W. Kwok, 'Concealment of damaged block transform coded images using projections onto convex sets,' IEEE Transactions on Image Processing, vol 4, pp. 470-477, April 1995 https://doi.org/10.1109/83.370675
  5. W. Lam, A. Reibman and B. Liu, 'Recovery of lost or erroneously received motion vectors,' ICASSP'93, pp.304-315, 1993
  6. 김진옥, 황대준, '인터넷상에서 비디오 데이타 전송시 오류 내성에 관한 연구', 2002 추계 한국정보과학회 학술집, 2002
  7. Y. Wang and Q. F. Zhu, 'Error control and concealment for video Communication: an overview,' Proceedings of IEEE, vol. 86, no. 5, pp. 974-997, May 1998 https://doi.org/10.1109/5.664283
  8. S. Aign and K. Fazel, 'Temporal and spatial error concealment techniques for hierachical MPEG-2 video codec,' Globlecom'95, vol. 3, pp. 1778-1783, 1995
  9. X. Lee, Y. Zhang, and A. Leon-Garcia, 'Information loss recovery for block-based image coding techniques-a fuzzy logic approach,' IEEE Trans. Image Processing, vol. 4, no. 3, pp. 259-273, March 1995 https://doi.org/10.1109/83.366475
  10. ISO/IEC 14496-2:1999, 'Information Technology-Coding of Audio/Visual Objects,' Part 2:Visual
  11. C. L. Buhan, 'Software-embedded data retrieval and error concealment schemes for MPEG-2 video sequences,' Proceedings of SPIE Conference on Electronic Imaging, Digital Video Compression: Algorithms and Technologies 1996, vol. 2668, pp. 384-391, USA, Feb. 1996 https://doi.org/10.1117/12.235434
  12. W. Bender, D. Gruhl, N. Morimoto and A. Lu, 'Techniques for data hiding,' IBM Systems Journal, vol. 35, no.3/4, pp.313-336, 1996 https://doi.org/10.1147/sj.353.0313
  13. I. Cox, J. Kilian, T. Leighton, T. Shamoon, 'Secure Spread Spectrum Watermarking for Multimedia,' IEEE Trans. On Image Processing, vol.6, no.12, pp.1673-1687, 1997 https://doi.org/10.1109/83.650120
  14. G. Langelaar, I. Setawan and R. Lagendijk, 'Watermarking digital image and video data,' IEEE Signal Processing, vol. 17, no. 5, pp. 20-46, Sept. 2000 https://doi.org/10.1109/79.879337
  15. S. Gringeri, R. Egorov, K. Shuaib, A. Lewis and B. Basch, 'Robust compression and transmission of MPEG-4 video,' in ACM MM99 Electronic Proceedings, June 1999 https://doi.org/10.1145/319463.319478
  16. K. I. Chan, J. Lu and J. C. Chung, 'Block shuffling and adaptive interleaving for still image transmission over rayless fading channels,' ITVT, vol.48, no.3, May 1999
  17. Q. F. Zhu, Y. Wang and L. Shaw, 'Coding and cell-Loss recovery in DCT-based packet video,' IEEE Transaction on CSVT, vol. 3, no. 3, pp. 248-258 June, 1993 https://doi.org/10.1109/76.224235
  18. J. Song and K. J. R. Liu, 'A data embedding scheme for H.263 compatible video coding,' ISCAS'99, vol. 4, pp.390-393, 1999 https://doi.org/10.1109/ISCAS.1999.780024
  19. M. D. Swanson, M. Kobayashi, A. H. Tewfik, 'Multimedia data-embedding and watermarking technologies,' Proceedings of IEEE, vol. 86, pp. 1064-1087, June, 1998 https://doi.org/10.1109/5.687830
  20. L. N. Kanal and A. R. K. Sastry, 'Models for channels with memory and their applications to error control,' Proceedings of the IEEE, vol. 66, no. 7, pp. 724-244, 1978