Abstract
This paper presents a semantic object extraction method using user's stroke input, color, and depth information. It is supposed that a semantically meaningful object is surrounded with a few strokes from a user, and has similar depths all over the object. In the proposed method, deciding the region of interest (ROI) is based on the stroke input, and the semantically meaningful object is extracted by using color and depth information. Specifically, the proposed method consists of two steps. The first step is over-segmentation inside the ROI using color and depth information. The second step is semantically meaningful object extraction where over-segmented regions are classified into the object region and the background region according to the depth of each region. In the over-segmentation step, we propose a new marker extraction method where there are two propositions, i.e. an adaptive thresholding scheme to maximize the number of the segmented regions and an adaptive weighting scheme for color and depth components in computation of the morphological gradients that is required in the marker extraction. In the semantically meaningful object extraction, we classify over-segmented regions into the object region and the background region in order of the boundary regions to the inner regions, the average depth of each region being compared to the average depth of all regions classified into the object region. In experimental results, we demonstrate that the proposed method yields reasonable object extraction results.
본 논문은 사용자의 입력, 색상 및 깊이 정보를 이용한 의미론적 물체 분할 방법을 제안한다. 의미있는 영역을 깊이영상에서 유사한 깊이 정보와 사용자 스트로크 입력의 중심에 위치한다고 가정한다. 제안된 방법은 스트로크 입력을 이용하여 관심 영역을 설정하고, 색상과 깊이 정보를 이용하여 의미있는 영역을 검출한다. 구체적으로 제안방법은 관심영역에 대해 색상과 깊이 정보를 이용한 과분할 과정과 과분할 영역에 대해 깊이 정보를 이용한 의미론적 물체 추출과정으로 구성되어 있다. 과분할 과정에서 적응적 임계값 적용 및 형태학적 기울기에 대한 적응적인 가중치 적용을 통한 마커 추출 방법을 제안하였다. 의미론적 물체 추출과정에서는 관심영역의 가장자리 영역에서 내부 영역으로의 순서대로 전체 깊이의 평균과 차이를 이용하여 추출하고자 하는 물체 영역인지 아닌지를 결정하도록 하였다. 실험 결과에서 제안한 방법이 효과적으로 의미있는 물체 추출 결과를 얻을 수 있음을 보인다.
