DOI QR코드

DOI QR Code

Image Separation of Talker from a Background by Differential Image and Contours Information

차영상 및 윤곽선에 의한 배경에서 화자분리

  • 박종일 (단국대학교 일반대학원 전자계산학과) ;
  • 박용범 (단국대학교 전자계산학과) ;
  • 유현중 (상명대학교 정보통신공학과)
  • Published : 2005.10.01

Abstract

In this paper, we suggest an algorithm that allows us to extract the important obbject from motion pictures and then replace the background with arbitrary images. The suggested technique can be used not only for protecting privacy and reducing the size of data to be transferred by removing the background of each frame, but also for replacing the background with user-selected image in video communication systems including mobile phones. Because of the relatively large size of image data, digital image processing usually takes much of the resources like memory and CPU. This can cause trouble especially for mobile video phones which typically have restricted resources. In our experiments, we could reduce the requirements of time and memory for processing the images by restricting the search area to the vicinity of major object's contour found in the previous frame based on the fact that the movement of major object is not wide or rapid in general. Specifically, we detected edges and used the edge image of the initial frame to locate candidate-object areas. Then, on the located areas, we computed the difference image between adjacent frames and used it to determine and trace the major object that might be moving. And then we computed the contour of the major object and used it to separate major object from the background. We could successfully separate major object from the background and replate the background with arbitrary images.

본 논문에서는 동영상에서 주요 객체를 추출하여 기존의 배경을 임의의 배경으로 교체하는 알고리즘을 제안한다. 제안된 기법은 이동 통신 화상전화기 및 영상전달 시스템등을 사용한 화상 전송함시 개인의 프라이버시를 보호하고, 배경을 제거함으로써 실제 전송할 데이터의 양을 줄일 수도 있을 뿐만 아니라, 현재배경을 임의의 배경으로 바꾸는 등의 여러 용도로 사용가능하다. 영상처리는 대용량의 데이터를 처리하기 때문에 많은 메모리와 시간 등의 자원을 사용하게 된다. 이는 특히 자원이 제한된 이동통신기기에서 문제가 된다. 실험에서 일반적으로 주요 객체의 움직임의 범위가 크지 않다는 점에 근거하여 검색의 범위를 이전 윤곽선정보의 주변으로 제한함으로써 영상처리에서 걸리는 시간과 자원을 줄일 수 있었다. 구체적으로는 동영상의 초기영상에서 윤곽선 정보를 이용하여 후보 객체영역을 추출하였고, 추출한 영역을 기준으로 다음 영상과 현재 영상과의 차영상을 구하여 움직이는 객체를 추적하는데 이용하였으며, 선택된 영역에서 윤곽선을 구하여 객체영역을 찾는데 이용하였다 이를 통하여 주요 객체와 배경을 효율적으로 분리할 수 있었으며, 사용자가 선택한 임의의 배경으로 대체할 수 있었다.

Keywords

References

  1. 최내원, 지정규, '동영상에서 적응적 배경영상을 이용한 실시간 객체추적', 멀티미디어학회논문지, 제6권 제3호, pp.400-418, 2003
  2. 김한메, 최우영, '동영상 데이터에서 움직이는 물체의 추적 알고리즘', 명지대학교 산업기술 연구소, 산업기술연구소 논문집, Vol.20, pp.145-150, 2001
  3. D. P. Huttenlocher, J. J. Noh, W. J. Rucklidge, 'Tracking Non-Rigid Objects in Complex Scenes,' Proceedings of 4th ICCV, pp.93-101, May, 1993 https://doi.org/10.1109/ICCV.1993.378231
  4. R. C. Jane, 'Segmentation of Frame Sequences of Obtained by A Moving Observe,' IEEE Trans, PAMI, Vol.6. No.5, pp.624-629, 1984
  5. M. K. Leung, 'Human Body Motion Segmentation in A Complex Scene,' Pattern Recognition, Vol.20. No.1, pp.55-64, 1987 https://doi.org/10.1016/0031-3203(87)90017-3
  6. Y. Mae, S. Yamamoto, Y. Shirai, and J. Miura, 'Optical Flow Based Realtime Object Tracking by Active Vision System,' Proc. 2nd Japan-France Congress on Mechatronics , Vol. 2, pp.545-548, 1994
  7. D. Koller, J. Daniilidis and H. Nagel, 'Model-based Object Tracking in Monocular Image Sequences of Road Traffic Scenes,' Int'l J. of Computer Vision, Vol.10, No.3, pp.257-281, 1993 https://doi.org/10.1007/BF01539538
  8. P. Salembier, L. Torres, F. Meyer and C. Gu, 'Region-based Video Coding Using Mathematical Morphology,' Proc. of the IEEE, Vol.83, No.6, pp.843-857, 1995 https://doi.org/10.1109/5.387088
  9. M. Isard and A. Blake, 'Contour Tracking by Stochastic Propagation of Conditional Density,' In Proc. European Conf. Computer Vision, pp.343-356, 1996
  10. B. Rao, 'Data Association Methods for Tracking Systems,' In A.Black and A.Yuille, editors, Active Vision, pp.91-105, MIT, 1992
  11. T. Augi, T. Ishihara, H. Nagahashi and T. Nagae, 'Contour tracking and synthesis in image sequences' SPIE '95, pp.834-845, 1995 https://doi.org/10.1117/12.206789
  12. R. Venkateswarlu, K. Sujuta and B. Venkateswara, 'Centroid tracker and aim point selection,' SPIE, Acquisition, Tracker and Pointing IV, Vol.1697, pp.520-529, 1993 https://doi.org/10.1117/12.138205
  13. Hamid Naseri and John A. Sttller, 'Segmentation motion estimation,' ICASSP, pp.1900-1910, 1996
  14. R. C. Gonzalez, Digital Image Processing, Addison-Wesley. 1993