3차원 복원을 위한 세그멘트 기반의 전경물체 추출

Segment-based Foreground Extraction Dedicated to 3D Reconstruction

영상기반의 3차원 복원(reconstruction)에 대한 연구가 최근 좋은 결과를 많이 내고 있지만, 이는 복원의 목적이 되는 영역이 각 입력영상으로부터 미리 정확하게 추출되어있다고 가정하기 때문이다. 본 논문에서는 다시점 영상에서 세그멘트(segment)라 불리는 초기 분할된 영역을 기반으로 전경물체 추출과 3차원 복원을 EM형식으로 반복적으로 수행하는 정교한 전경물체 추출방법을 제안한다. 본 논문에서 세그멘트는 수행시간을 최소화하기 위해 사용된 3차원 복원방법인 visual hull에 의해 발생한 외곽선 오류를 보상해야 하며, 사용자의 입력을 최소화하기 위해 적은 수의 집합으로 구성되어야 한다. 이를 위해 데이터 항과 스무드 항으로 구성된 에너지 함수를 최적화할 수 있는 그래프 컷 방법을 이용하는 영상분할을 초기단계로써 수행하며, 전경물체 추출과 3차원 복원은 에너지 함수가 최적화될 때까지 반복 수행한다. 실험에서 간단한 3차원 복원 방법을 이용함에도 불구하고 전경물체의 외곽선에서 정확한 결과를 보였다.

Researches of image-based 3D reconstruction have recently produced a number of good results, but they assumed that the accurate foreground to be reconstructed is already extracted from each input image. This paper proposes a novel approach to extract more accurate foregrounds by iteratively performing foreground extraction and 3D reconstruction in a manner similar to an EM algorithm on regions segmented in an initial stage, called segments. Here, the segments should preserve foreground boundaries to compensate for the boundary errors generated by visual hull, simple 3D reconstruction to minimize the computational time, and should also be composed of the small number of sets to minimize the user input. Therefore, we utilize image segmentation using the graph-cuts method, which minimizes energy function composed of data and smoothness terms, and the two methods are iteratively performed until the energy function is optimized. In the experiments, more accurate results of the foreground, especially in boundaries, were obtained, although the proposed method used a simple 3D reconstruction method.