Trinocular 영상을 이용한 3D 얼굴 모델 자동 생성

Automatic Generation of 3D Face Model from Trinocular Images

본 논문은 세 개의 카메라로부터 얻어진 영상에서 표면 깊이 정보를 재구성하여 얼굴의 3차원 모델을 생성하는 효율적인 방법을 제안한다. 논문에서는 Trinocular 영상을 사용하여 binocular 영상 사용 시 발생하는 폐색 영역 문제와 깊이 해상도 한계를 개선하였다. 또한, MPC_MBS (Matching Pixel Count Multiple Baseline Stereo) 유사도 측정 방법을 제안하여 영상 정합 시 발생하는 Boundary overreach 현상을 줄이고 정합의 정확도와 정밀도를 개선하였다. 이 방법은 정합 때 발생하는 중복 계산을 제거함으로써 계산 시간도 줄일 수 있다. 모델 생성 시에는 추출된 변위 정보를 2차원 보간에 의해 소수점 단위까지 확장하여 연속적인 표면 깊이 정보를 추출하였고, 이로부터 일정 간격의 초기 삼각형 매쉬 모델을 생성하였다. 또한 삼각형 매쉬 모델의 데이터 크기를 줄이기 위하여 사용자가 지정하는 오차 이내에서 같은 평면으로 근사화 되는 꼭지점을 병합하는 알고리듬을 제안하여 효율적인 얼굴 모델 생성이 이루어지도록 하였다.

This paper proposes an efficient method for 3D modeling of a human face from trinocular images by reconstructing face surface using range data. By using a trinocular camera system, we mitigated the tradeoff between the occlusion problem and the range resolution limitation which is the critical limitation in binocular camera system. We also propose an MPC_MBS (Matching Pixel Count Multiple Baseline Stereo) area-based matching method to reduce boundary overreach phenomenon and to improve both of accuracy and precision in matching. In this method, the computing time can be reduced significantly by removing the redundancies. In the model generation sub-pixel accurate surface data are achieved by 2D interpolation of disparity values, and are sampled to make regular triangular meshes. The data size of the triangular mesh model can be controlled by merging the vertices that lie on the same plane within user defined error threshold.