Image warping using an adaptive partial matching method

적응적 부분 정합 방법을 이용한 영상 비틀림 방법

  • 임동근 (광주과학기술원 정보통신공학과) ;
  • 호요성 (광주과학기술원 정보통신공학과)
  • Published : 1997.12.01

Abstract

This paper proposes a new motion estimation algorithm that employs matching in a variable search area. Instead of uisg a fixed search range for coarse motion estimation, we examine a varying search range, which is determined adaptively by the peak signal to noise ratio (PSNR) of the frame difference. The hexagonal matching method is one of the refined methods in image warping. It produces improved image quality, but it requires a large amount of computataions. The proposed adaptive partial matching method reduces computational complexity below about 50% of the hexagonal matching method, while maintaining the image quality comparable. The performance of two motion compensation methods, which combine the affine or bilinear transformation with the proposed motion estimation algorithm, is evaluated based on the following criteria:computtational complexity, number of coding bits, and reconstructed image quality. The quality of reconstructed images by the proposed method is substantially improved relative to the conventional BMA method, and is comparable to the full hexagonal matching method;in addition, computational complexity and the number of coding bits are reduced significantly.

본 논문에서는 가변 탕색 영역을 가진 부분 정합 방법을 적용한 새로운 움식임 추정 방법을 제안한다. 거친 움직임을 추정할 때에 탐색 영역을 고정하지 않고 인접 영상간의 차이(FD; frame difference)에 대한 선호 대 잡음 비(PSNR; peak signal-to-noise ratio)를 사용하여 탕색 영역의 크기를 조정한다. 육각형 정합 벙법은 영상 비틀림에서 미세 보정을 위한 방법 중의 하나인데, 이것은 최적의 영상 화질 개선을 가져오지만 계산량이 많은 것이 단점 이다. 제안된 부분 정합 방법은 육각형 정합 방법에 대하여 영상 화질면에서는 구분할 수 없을 정도이면서도 계산량은 약 50% 이하로 줄었다. 움직임 추정 및 보상 방법의 성능은 어파인 변환과 쌍선형 변환, 그리고 제안한 움직임 추정 알고리듬을 함께 사용하여 계산량, 전송해야 될 비트량, 복원 영상의 화질의 3가지 점을 동시에 고려하여 이전의 방법과 비교하였다. 제안된 방법을 사용하여 복원된 영상의 화질은 기존의 블럭 정합 방법과 비교할 때 월등히 우수하고, 육각형 정합 방법과 비교될 만하였다. 또한 계산량과 부호화에 사용된 비트의 양은 블럭 정합 방법과 이미 개발된 육각형 정합 방법같은 영상 비틀림 방법들보다 싱대적으로 많이 감소하였다.

Keywords

References

  1. Digital Image Compression Techniques v.TT 7 M. Rabbani;P. W. Jones
  2. International Standard Information Technology-Generic Coding of Moving Pictures and Associated Audio:Video ISO/IEC 13818-2
  3. IEEE Trans. Commun. v.COM-29 Displacement Measurement and Its Application in Interframe Image Coding J. R. Jain;A. K. Jain
  4. IEEE Trans. Commun. v.COM-33 no.8 Predictive Coding Based on Efficient Motion Estimation R. Srinivasan;K. R. Rao
  5. IEEE Trans. Commun. v.COM-33 no.9 Motion Compensated Interframe Image Prediction S. Kappagantular;K. R. Rao
  6. IEEE Proceeding v.73 no.4 Advances in Picture Coding H. G. Musmann;P. Pirsch;H. Grallert
  7. HDTV'95 Proceeding Improved Motion Estimation Algorithm of Television Signals J. Wang;D. Zhang
  8. Discrete Cosine Transform; Algorithms, Advantages, Applications K. R. Rao;P. Yip
  9. Computer Vision, Graphics, and Image Processing v.53 no.2 A Theory of Optical Flow F. Bergholm;S. Carlsson
  10. IEEE Trans. Image Processing v.3 no.2 Optimal Brightness Functions for Optical Flow Estimation of Deformable Motion T. S. Denney Jr;J. Prince
  11. 3D Computer Graphics A. Watt
  12. Mathmatical Elements for Computer Graphics D. F. Rogers;J. A. Adams
  13. Computer Graphics D. Hearn;M. P. Baker
  14. IEEE Trans. Circuit and Systems for Video Technology v.4 no.3 Motion Compensation Based on Spatial Transformations Y. Nakaya;H. Harashima
  15. IEEE Trans. Consumer Electronics v.39 no.3 A Novel Video Coding Scheme Based On Temporal Prediction Using Digital Image Warping J. Nieweglowski;T. G. Gampbell;P. Haavisto
  16. IEEE Trans. Circuit and Systems for Video Technology v.4 no.1 A New Motion Compensation Method C. L. Huang;C. Y. Hsu
  17. Digital Image Warping G. Wolberg
  18. Techniques and Standards For Image Video and Audio Coding K. R. Rao;J. J. Hwang
  19. Fundamentals of Digital Image Processing A. K. Jain
  20. Digital Image Processing R. C. Gonzalez;R. E. Woods
  21. Digital Compression of Still Images and Video R. J. Clarke
  22. Handbook of Visual Communications H. M. Hang;J. W. Woods
  23. Digital Video precessing A. M. Tekalp
  24. SPIE Visual Communications and Image Processing v.2727 Closed-form Solutions for Polygon-based Node Motion Estimation Y. Altunbasak;A. M. Tekalp