Depth map enhancement using joint bilateral filter based on mode seeking

최고점 탐색 기반의 향상된 Joint Bilateral Filter 를 이용한 깊이 영상의 품질 향상 기법

최근 ToF(Time-of-Flight) 방식의 깊이 센서 카메라가 깊이 영상 획득에 많이 사용되고 있다. 그러나 ToF 깊이 카메라가 제공하는 깊이 영상은 센서의 물리적 한계로 인해 잡음이 존재한다. 따라서 고품질의 깊이 영상을 얻기 위해서는 깊이 영상의 잡음을 제거해 주는 것이 필수적이다. 일반적으로 깊이 영상의 잡음 제거에는 joint bilateral filter 를 사용한다. Joint bilateral filter 는 기준 화소와 그 주변 화소의 색상 영상의 밝기 차이값과 화소간 거리값에 각각 가우시안 함수를 적용하여 joint histogram 을 생성하고 그 평균값을 기준 화소의 깊이값으로 채운다. 하지만 이 과정에서 깊이 영상의 경계 영역에서 흐려짐 현상이 발생한다. 경계영역에 발생한 흐려짐 현상은 최종적인 3D 입체 콘텐츠의 품질을 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 joint histogram 의 최고점을 찾아 기준 화소의 깊이값을 채우는 기법을 제안한다. 최고점 탐색을 통해 기존 기법의 평균값을 통해 생기는 흐려짐 현상을 줄이고 깊이 영상의 경계를 보존하면서 잡음을 제거하였다. 실험을 통하여 제안하는 기법의 우수성을 확인하였다.