The KIPS Transactions:PartD (정보처리학회논문지D)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Image Feature based Inpainting Scheme for Restoration of Line Scratch of Old Film

오래된 영화의 line scratch 복원을 위한 영상특성추출기반의 인페인팅

  • 고기홍 (서울시립대학교 대학원 컴퓨터통계학과) ;
  • 김성환 (서울시립대학교 컴퓨터과학부)
  • Published : 2008.08.29
Download PDF
⟨ Previous Next ⟩

Abstract

Old films or photographs usually have damages from physical or chemical effects, and the damage and digitalization make stain, scratch, scribbling, noise, and digital drop out in frames. Damages include global damage and local damage, and it is well known that local damage restoration is a main factor for improving image quality. Previous researches have focused on impairment localization (esp. for line scratch impairments) and restoration techniques for line scratch, dirt, blob, and intentional scratch. Inpainting is a key technique using partial derivatives to restore damages in images. It does not show good quality for the complex images because it is based on finite order for partial derivatives, and it takes much time complexity. In this paper, we present a modified inpainting scheme, where we use Sobel edge operator's and angle to compute isophotes, and compare our scheme with Bertalmio's scheme. We experiment our scheme with two old Korean films, and Simulation results show that our scheme requires smaller time complexity than Bertalmio's scheme with comparable reconstructed image quality.

오래된 필름이나 영상들은 물리적 또는 화학적으로 많은 손상을 받기 때문에 손상부분에 대한 특별한 처리가 요구된다. 영상 손상은 손상의 범위에 따라, 영상 전체에 걸쳐 나타나는 전역 손상과, 영상 일부분이 손상되어 나타나는 지역손상으로 구분할 수 있으며, 오래된 영상은 지역 손상 부분의 복구만으로도 상당한 화질 향상이 가능하다. 기존의 연구는 긁힘으로 인한 line scratch 검출 알고리즘의 연구와 얼룩, 긁힘, 또는 의도적인 손상으로 인해 손상된 영역을 복원하는 복원 알고리즘이 연구되고 있다. 오래된 영상 복원 연구의 대표적인 방법은 편미분방정식을 적용한 인페인팅 기법이며, 영상의 형태를 편미분방정식으로 모델링하기 때문에, 편미분 차수의 제한에 의해 복잡한 형태의 영상 복원 화질이 좋지 못하고, 계산복잡도가 높은 단점을 가지고 있다. 본 논문에서는 오래된 영상에서 주로 나타나는 필름의 긁힘으로 인해 생기는 line scratch를 검출하고, 영상의 특성을 반영하는 에지검출연산자의 일종인 Sobel 연산자를 이용하는 인페인팅 기법을 제안한다. 실제 영상 복원실험을 위해 오래된 한국영화인 1945년 작 "자유만세" 와 1976년 작 "로보트 태권V" 영상을 사용하였으며, 기존의 연구결과와 비교하여 화질개선 뿐만이 아니라, 개선된 복원 속도를 얻을 수 있었다.

Keywords

References

  1. A.C. Kokaram., “Detection and Removal of Line Scratches in Degraded Motion Picture Sequences,” Signal Processing VIII, Vol.1, pp.5-8, Sept., 1996
  2. L. Joyeux, O. Buisson, B. Besserer, and S. Boukir, “Detection and removal of line scratches in motion picture film,” IEEE Computer Society Conf. Computer Vision and Pattern Recognition, Vol.1, pp.548-553, 1999
  3. L. Joyeux, S. Boukir, and B. Besserer, “Film line scratch removal using Kalman filtering and Bayesian restoration,” IEEE Workshop on the Applications of Computer Vision, pp.8-13, 2000 https://doi.org/10.1109/WACV.2000.895396
  4. D. Vitulano, V. Bruni, and P. Ciarlini., “Line Scratch Detection on Digital Images: an Energy Based Model,” IAC-CNR, Rome, Italy, 15/2001
  5. M. Bertalmio, G.Sapiro, V. Caselles, and C. Ballester., “Image Inpainting",In Proceedings SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series, edited by Kurt Akeley, pp.417-424, Reading, MA: Addison-Wesley, 2000
  6. M. Oliveira, B. Bowen, R. McKenna, and Y.-S. Chang., “Fast Digital Image Inpainting,” In Proc. VIIP 2001, pp. 261-266, 2001
  7. A. Telea., “An Image Inpainting Technique Based on the Fast Marching Method,” Journal of Graphics Tools, Vol.9, No.1, pp.25-36, 2004
  8. S.-J. Ko, S.-H. Lee, S.-W. Jeon, and E.-S. Kang., “Fast Digital Image Stabilizer based on Gray-coded Bit-plane Matching,” IEEE Trans. Consumer Electronics, Vol.45, No.3, pp.598-603, Aug., 1999 https://doi.org/10.1109/30.793546
  9. T. Vlachos., “Flicker Correction for Archived Film Sequences Using a Nonlinear Model,” IEEE Trans. Circuits and Systems for Video Technology, Vol.14, No.4, pp.508-516, Apr., 2004 https://doi.org/10.1109/TCSVT.2004.825559
  10. R. Duda and P. Hart, “Pattern Classification and Scene Analysis,” John Wiley and Sons, 1973