Video Backlight Compensation Algorithm Based on Reliability of Brightness Variation

밝기 변화량의 신뢰도에 기반한 역광 비디오 영상의 보정 알고리듬

  • Hyun, Dae-Young (Signal Processing Lab., INMC, School of Electrical Engineering and Computer Sciences, Seoul National University) ;
  • Heu, Jun-Hee (Laboratory of Computational Computer Vision, Georgia Institute of Technology University) ;
  • Kim, Chang-Su (School of Electrical Engineering, Korea University) ;
  • Lee, Sang-Uk (Signal Processing Lab., INMC, School of Electrical Engineering and Computer Sciences, Seoul National University)
  • 현대영 (서울대학교 전기컴퓨터공학부, 뉴미디어통신연구소) ;
  • 허준희 (애틀랜타 조지아공대 전산컴퓨터비젼연구실) ;
  • 김창수 (고려대학교 전기전자전파공학부) ;
  • 이상욱 (서울대학교 전기컴퓨터공학부, 뉴미디어통신연구소)
  • Received : 2010.01.07
  • Published : 2010.11.25

Abstract

In the case of failure images with controlling lighting like backlighting and excessive frontlinghting, the compensation scheme for a specific area in an image is required. The interested region is first selected by user in our method to compensate the first frame. Then we define the matching function of brightness and energy function is proposed with weight of matching function and the relationship among the neighbors. Finally, the energy is minimized by the graph-cut algorithm to compensate the brightness of the first frame. Other frames are straightforwardly compensated using the results of the first frame. The brightness variations of the previous frame is transmitted to the next frame via motion vectors. The reliability of the brightness variation is calculated based on the motion vector reliability. Video compensation result is achieved by the process of the image case. Simulation show that the proposed algorithm provides more natural results than the conventional algorithms.

빛은 촬영된 영상의 화질을 결정하는 중요 요소이다. 역광의 환경이나 빛을 정면으로 받는 환경에서 촬영된 영상의 경우, 빛의 조절이 어려워 특정 영역의 밝기만 왜곡될 수 있다. 이와 같은 경우 전체적인 보정으로는 영상의 질 향상이 어려우므로, 특정 영역의 밝기를 중점적으로 보정하는 기법이 필요하다. 제안 기법은 사용자의 입력을 이용하여 첫 프레임에서 밝기를 보정할 관심 영역을 선택하고 이를 중점적으로 보정하기 위한 밝기 대응 함수를 구한다. 대응 함수를 가중치에 따라 적용하고 이웃 픽셀과의 관계를 고려하는 에너지 함수를 정의하여 첫 프레임을 보정한다. 그리고 첫 프레임의 보정 결과를 이용하여 다음 프레임들을 순차적으로 보정한다. 각 픽셀의 밝기 변화량은 프레임간의 움직임 추정을 통해 다음 프레임의 대응 픽셀로 전달한다. 이때, 움직임 벡터의 신뢰도에 기반하여 밝기 변화량의 신뢰도를 정의하고, 이를 이용하여 이웃 픽셀과의 관계를 고려하는 밝기 보정을 위한 에너지 함수를 정의한다. 모의 실험 결과에서 볼 수 있듯이 제안 기법은 정의한 에너지를 최소화함으로써 기존 기법에 비해 자연스러운 역광 보정의 결과를 도출한다.

Keywords

References

  1. A. K. Jain, Fundamentals of Digital Image Processing, Englewood Cliffs, NJ: Prentice-Hall, 1989.
  2. S. M. Pizer , E. P. Amburn , J. D. Austin , R. Cromartie , A. Geselowitz , T. Greer , B. T. H. Romeny , J. B. Zimmerman, "Adaptive histogram equalization and its variations," Computer Vision, Graphics, and Image processing, vol. 39, pp. 355-368, 1987. https://doi.org/10.1016/S0734-189X(87)80186-X
  3. T. Arici, S. Dikbas and Y. Altunbasak, "A histogram modification framework and its application for image contrast enhancement," IEEE Trans. Image Process, vol. 18, no. 9, pp.1921-1935, Sep. 2009. https://doi.org/10.1109/TIP.2009.2021548
  4. M. Murakami and N. Honda, "An exposure control system of video cameras based on fuzzy logic using color information," Proc. the Fifth IEEE International Conference on Fuzzy Systems, vol. 3, pp. 2181-2187, 1996.
  5. M. C. Su, Y. S. Yang, J. Lee, G. D. Chen, "A neuro-fuzzy approach for compensating color backlight Images," Neural Processing Letters vol. 23, no. 3, pp. 273-287, 2006. https://doi.org/10.1007/s11063-006-9002-0
  6. R. C. Gonzalez and R. E. Woods, Digital Image Processing., Addison-Wesley, 2002.
  7. D. J. Jobson, Z. U. Rahman and G. A. Woodell, "A multiscale retinex for bridging the gap between color images and the human observation of scenes," IEEE Trans. Image Processing, vol. 6, no. 7, pp. 965-976, Jul., 1997. https://doi.org/10.1109/83.597272
  8. R. Fattal, D. Lischinski and M. Werman, "Gradient domain high dynamic range compression," Proc. SIGGRAPH 2002, pp. 249-256, 2002.
  9. F. Drago, K. Myszkowski, T. Annen and N. Chiba, "Adaptive logarithmic mapping for displaying high contrast scenes," Proc. of EUROGRAPHICS 2003, pp. 419-426, 2003.
  10. D. Wang, A. Vincent, and P. Blanchfield, "Hybridde-interlacing algorithm based on motion vector reliability," IEEE Trans. Circuits Syst. Video Technol.,vol. 15, no. 8, pp. 1019-1025, Aug. 2006.
  11. Y. Boykov and G. Funka-Lea, "Graph cuts and efficient N-D image segmentation," International Journal of Computer Vision, vol. 70, no. 2, pp. 109-131, Nov. 2006. https://doi.org/10.1007/s11263-006-7934-5