Study on the Methods of Enhancing the Quality of DIBR-based Multiview Intermediate Images using Depth Expansion and Mesh Construction

깊이 정보 확장과 메쉬 구성을 이용한 DIBR 기반 다시점 중간 영상 화질 향상 방법에 관한 연구

Abstract

In this research, we conducted an experiment on evaluating the extending depth information method and surface reconstruction method and the interaction of these two methods in order to enhance the final intermediate view images, which are acquired using DIBR (Depth-Image-Based Rendering) method. We evaluated the experimental control groups using the Microsoft's "Ballet" and "Break Dancer" data sets with three different hole-filling algorithms. The result revealed that the quality was improved the most by applying both extending depth information and surface reconstruction method as compared to the previous point clouds only. In addition, it found that the quality of the intermediate images was improved vastly by only applying extending depth information when using no hole-filling algorithm.

본 연구에서는 DIBR(Depth-Image-Based Rendering) 기법을 사용한 다시점 중간 영상 생성을 하는데 있어서 최종 중간 영상의 화질을 개선하기 위한 방법으로 깊이 정보의 확장과 메쉬 구성 (즉, 표면 재구성) 그리고 이 방법들을 교차 적용하여 어떤 것이 가장 좋은 결과를 낼 수 있는 지에 대해서 실험하였다. 마이크로소프트사에서 제공하는 브레이크 댄서와 발레 영상을 사용하여 실험 결과를 살펴보았고 다양한 틈새 영역 채움 알고리즘을 적용시켜 분석해 보았다. 실험 결과는 기존의 점 구름만을 활용하는 것보다 깊이 정보를 확장하는 방법과 메쉬 구성 방법을 모두 시켰을 때 가장 좋은 결과가 나타났다. 그리고 틈새 영역 채움 알고리즘을 적용하기 전에는 깊이 확장만으로도 충분히 화질이 향상됨을 확인할 수 있었다.

Ⅰ. 서 론

최근 3차원 영상 기술이 급속히 발전하여 3DTV가 일반 가정에 보급되고 있다. 현재 상용화된 3차원 디스플레이는 기술에 따라 디스플레이와 동기화되는 능동적 양안 시차 방식(active stereoscopic)이나 빛의 편광을 이용하는 수동적 양안 시차 방식(passive stereoscopic)이 많이 사용된다. 양안 시차 방식은 저렴하고 쉽게 3차원 영상을 볼 수 있도록 해주지만 특수 안경을 요구하는 등 불편함이 따른다. 그래서 홀로그램, 집적 영상, 다시점 디스플레이 등과 같은 다양한 무안경식 3차원 디스플레이 기술들이 많이 연구되고 있다.

본 연구에서는 그 중에서 다시점 디스플레이용 영상 생성에 집중하였다. 다시점 디스플레이용 영상은 여러대의 카메라를 배치하고 동시에 영상을 촬영하고 이를 조합해 다시점 디스플레이에 알맞게 변환해서 보이는 것이 가장 정확하다. 하지만 모든 카메라의 속성들이 조금씩 다르고 여러 개의 카메라를 동기화해서 동시에 촬영하는 것도 어려울 뿐만 아니라 여러 개의 카메라에 서 촬영된 영상들을 모두 전송하는 것도 비효율적이다. 그래서 다시점 디스플레이 연구에서는 주로 중심 카메라(reference) 영상 및 깊이 카메라에서 영상과 깊이 정보를 취득하고 컴퓨터 그래픽스 기술을 이용해서 다시 점 디스플레이용 중간 영상을 만들어내는 방법인 DIBR 기법을 많이 활용한다[1-3].

DIBR 기법은 일반 영상과 깊이 정보를 이용해서 3차원 장면을 수많은 점들이 공간에 있는 점 구름(point cloud)으로 구성하고 다시 여러 개의 시점에 위치한 가상의 카메라로 촬영하여 중간 영상을 생성한다. 이렇게 생성된 중간 영상을 보면, 정면에서 보일 때에는 앞에 위치한 물체에 의해 가려져서 보이지 않던 부분들이 다른 시점의 카메라로 촬영할 때에 나타나는 경우가 있다. 이러한 현상이 나타나는 것은 원본 영상에 가려진 부분에 대한 정보가 없기 때문이며 다른 시점의 영상에서는 구멍(Hole)이 뚫린 것처럼 보이는 현상으로 나타난다. 그래서 중간 영상을 생성할 때에는 이러한 구멍들을 틈새 영역 채움 알고리즘(Hole-filling algorithm)을 이용하여 채운다.

이렇게 만들어지는 중간 영상은 대부분 화질이 좀 떨어지기 때문에, 이를 향상시키기 위하여 깊이 영상들을 저역 통과 필터나 가우시안 필터 등을 통해 처리해서 날카로운 경계선 등을 없애 구멍 뚫리는 부분을 완화시키는 방법을 전처리(pre-processing) 과정에서 사용하기도 한다[2-6]. 또한 최종 중간 영상 화질의 향상을 위하여 후처리(post-processing) 과정에서 중간 영상을 만든후에 생성된 빈 공간들을 나선형 방식 또는 인페이팅 방식 등 다양한 틈새 영역 채움 알고리즘을 개발되기도 하였다[7,8].

본 연구에서는 DIBR 방법으로 생성한 중간 영상의 화질을 개선하는 전처리 방법으로 깊이 정보를 확장하는 방법과 점 구름 형태로 생성되는 3차원 공간의 점(Vertex)들을 메쉬(Mesh)로 연결하는 방법을 이용하였다. 그리고 이에 추가로 좀 더 밀도 있는 점 구름 또는 메쉬를 제공함으로써 중간 영상의 질을 향상시키도록 하였다. 특히 새로운 데이터를 생성하거나 방법들을 적용해서 밀도를 높이는 것은 효율성이 떨어질 수 있으므로, 이미 만들어져 있는 정보들을 추가로 배치하여 깊이 정보를 확장하는 형태로 해서 중간영상의 질제고를 구현하였다. 기존 전처리 방법들은 깊이 정보의 일부를 전체적으로 뭉개기(blur) 때문에 정확한 3차원 점 구름을 생성하기 어려운 문제가 있어서 본 연구에서는 깊이 정보의 질을 떨어뜨리지 않고 그 정보를 반복해서 활용해서 빈 틈새 영역을 줄이고 전체적으로 중간 영상의 질을 향상시키는 방법을 제안한다. 본 논문에서는 깊이 정보만을 확장하는 방법과 표면 재구성 방법(Mesh화) 방법을 설명하고, 실험을 통해서 따로 쓰일 경우와 조합해서 사용될 경우에 대한 효과를 비교 분석한다.

 

Ⅱ. 깊이 정보 확장과 메쉬를 활용한 DIBR 기반 중간 영상 화질 개선 방법

2.1. 점 구름의 깊이 정보 확장

우리는 이전 연구에서 깊이 정보를 16비트에서 1비트까지 줄여가면서 DIBR 기반의 다시점 중간 영상 생성에서 깊이 정보가 중간 영상 화질에 얼마나 영향을 미치는지 확인해 보았고 그 결과, 중간 영상의 품질 유지를 위하여 7비트 이상의 깊이 정보가 필요한 것을 발견했다[9]. 그런데 현재 상용화된 실사용 깊이 카메라가 지원하는 8비트 깊이 정보는 실사 영상에서 DIBR 기반의 다시점 중간 영상 생성에 적용하여 사용하기에 해상도가 낮은 문제가 있다. 따라서 본 연구에서는 실사용 깊이 카메라에서 지원하는 8비트 깊이 정보를 확장하여 적용시키는 방법을 통하여 중간 영상 화질에 품질 향상 이 있는 지 확인하였다.

DIBR 기법을 사용하여 3차원 장면을 점 구름 형태로 재구성하면 깊이 정보의 불연속성 때문에 카드 보드 현상(Cardboard effects)이 나타난다. 예를 들어 현재 상용화된 실사 영상을 위한 깊이 카메라는 주로 8 비트의 깊이 정보 즉 256단계로 분리되어 진 깊이 정보를 생성한다. 때문에 이것을 활용하여 3차원 점 구름으로 만들면 같은 깊이 정보를 가지는 영역들은 모두 한 개의 평면에 나타나게 되므로 최대 256개의 카드보드가 만들어질 수 있다. 기존의 연구 중에 이 카드 보드 효과를 줄이기 위하여 8 비트 깊이 정보를 수식을 통하여 늘린 방법도 있지만 품질 개선엔 큰 도움이 되지 못했다[10]. 본 연구에서는 8 비트 깊이 정보를 가지고 좀 더 촘촘하게 카드 보드를 배치하는 형태로 중간 영상의 화질을 높였다.

본 연구에서 8비트 (즉 256단계로 되어 있는) 깊이정보를 확장하기 위하여 실제로 3차원 공간을 재구성한 후에 만들어진 점 구름이나 메쉬를 뒤에 추가로 배치하는 방법으로 해서 2배의 카드 보드를 만들었다. 일반적으로 깊이 정보들은 카메라에서 가까운 영역 (near)은 촘촘하게 붙어 있고 (즉, 깊이 정보들 간의 거리가 짦음) 카메라에서 멀어질수록 (far) 그 간격이 넓어지는 형태로 되어 있다.

본 연구에서는 추가적인 깊이 정보를 배치하는 것을 카메라와 가장 가까이 위치한 카드 보드 두 개 사이의 거리의 절반(식 (1)의 ratio = 1/2)에 해당되는 위치로 잡고 구현하였다. DIBR 방식에서는 점 구름을 구성한 후에 카메라의 위치를 바꿔가며 중간 영상을 취득하게 되는데, 가장 가까운 카드 보드 두 개 사이거리의 절반 정도만 움직여서 점 구름 또는 메쉬를 추가로 배치하면, 카메라서 보는 뷰에 영향을 미친다. 따라서 본 논문에서는 식 (1)과 같이 추가 정보 배치 위치를 구하였다. 식 (1)에서 d0과 d1은 재구성된 3차원 공간에서 카메라와 가장 가까운 위치에 있는 첫 번째와 두 번째 카드 보드까지의 거리를 의미한다. 각 카드보드의 실제 거리는 식 (1)에서 보인 것처럼 깊이 정보로부터 점구름을 재구성하면서 활용된 카메라 프로젝션 행렬을 역으로 이용해서 계산한다.

2.2. 점 구름의 표면 재구성 생성 기법

본 연구에서는 DIBR 기법을 사용한 3차원 장면의점 구름을 메쉬(Mesh)로 재구성한 후 가상의 카메라로 찍은 중간 영상에 구멍(Hole)이 덜 생기도록 하여 최종 중간 영상의 화질을 향상시키도록 하였다. 여기서 사용한 표면 재구성 방법은 볼 피봇팅(ball pivoting) 알고리즘[11]이다. 볼 피봇팅 방법은 일정 크기의 반지름을 가진 공을 점 구름위로 굴리면 점 구름 위에 존재하는 폴리곤의 표면에 부딪힐 거라는 가정 하에서 만들어진 것이다.

이 볼 피봇팅 알고리즘은 점 구름에 존재하는 적어도 세 개 이상의 점(Vertex)과 공이 닿게 될 것이라는 가정하에서 구현되는데 이는 점 구름을 구성하는 점들의 밀도가 상당히 높을 때 유효하다[12]. 또한 다른 표면 재구성 알고리즘들에 비해서 처리속도가 빠르다는 장점도 있다. 하지만 이 알고리즘은 점 구름을 구성하는 점들의 밀도가 높지 못한 경우에 구멍 뚫린 형태로 메쉬가 만들어진다는 단점이 존재한다.

하지만 본 연구에서는 깊이 정보의 해상도가 상대적으로 높은 것들을 사용하였고, 또한 최근 출시된 키넥트 2의 깊이 카메라도 1024×760 정도의 해상도를 제공하므로 3차원 점들의 밀도는 충분할 것으로 보였을 뿐만 아니라 메쉬 구성 알고리즘은 점 구름을 보완하는 형태로 활용되었기 때문에, 메쉬를 꼼꼼하게 만드는 것보다는 처리 속도가 빠른 것이 더 중요하므로 볼 피봇팅 알고리즘을 채택하였다.

 

Ⅲ. 실험 방법

본 연구에서 제안한 DIBR 기반의 다시점 중간 영상 3차원 장면 점 구름의 깊이 정보 확장이나 메쉬 구성 방법의 평가를 위해서, 마이크로소프트사에서 제공하는 “Break Dancer”와 “Ballet” 영상을 실험 및 분석에 사용하였다[13]. 브레이크 댄서와 발레 영상들은 모두 8개 카메라에서 촬영된 100장의 연속적인 사진들을 제공하고 있으며 각 카메라에 대한 내·외부 속성(Intrinsic․Extrinsic Parameters)과 해당되는 깊이 영상을 제공한다. 카메라는 0번부터 7번까지 있으며, 이중 4번을 중심 카메라로 본다. 이 4번째 카메라를 중심으로 왼쪽에 5 ~ 7번째 카메라 그리고 오른쪽에 0 ~ 3번 카메라가 위치하는 것으로 되어 있고, 카메라들은 장면을 중심으로 약간의 타원을 이루는 형태 (즉, Convergence)로 배치되었다.

본 실험의 영상으로는 마이크로소프트사의 “Break Dancer”와 “Ballet” 영상 100장중에서 30장을 사용하였다. 본 연구에서는 4번째 카메라에서 제공되는 영상과 깊이 영상을 가지고 DIBR 기법을 이용해서 점 구름을 만들고 난 후, 깊이 정보를 확장한 방법과 점 구름의 메쉬화 방법을 교차 적용시켜서 중간영상 화질 향상에 미치는 영향에 대해서 분석하였다.

따라서 <표 1>에 정리한 것처럼, 점 구름에서 깊이 정보의 확장과 표면 재구성 방법을 교차 적용시킨 다섯 가지의 실험 그룹을 사용하였다.

표 1.깊이 정보 확장과 메쉬화 적용 방법의 실험 군 Table. 1 Control Group for Depth Information Extension and Mesh Construction Methods

첫 번째 실험 그룹 (M1)은 기본적인 점 구름의 형태를 활용한 DIBR 방법을 사용하였다. 즉, 이 방법은 3차원 공간에 점 구름 형태로 생성한 뒤 가상의 카메라를 위치시키고 중간 영상을 취득하는 기존의 방법을 그대로 사용하는 방식이다. 두 번째 실험 그룹 (M2)은 M1의 점 구름을 복사해서 수식 (1)을 사용하여 깊이 정보를 두 배로 확장한 방식이다. 세 번째 실험 그룹 (M3)은 M1의 점 구름을 볼 피봇팅(Ball Pivoting) 알고리즘을 사용하여 메쉬로 구성한 것이다. 여기서 메쉬로 구성되지 못하고 남은 점(Vertex)들은 그냥 점 구름 형태로 남게 된다. 네 번째 실험 그룹 (M4)은 M2에서 뒤에 위치한 점 구름을 메쉬로 만들고, 앞에 있는 점 구름은 그대로 원본으로 유지한다. 다섯 번째 실험 그룹 (M5)은 M2에서 앞과 뒤에 위치한 점 구름들을 모두 메쉬로 재구성한 방법이다.

이 다섯 가지의 실험 군의 방법 (즉 깊이 확장과 메쉬구성 방법의 교차 적용)으로 3차원 공간을 재구성한 후에, 가상의 카메라를 이용해서 중간 영상을 취득하고, 이를 다시 마이크로소프트에서 제공하는 원본 영상과 비교하였다. 그런데 틈새 영역 채움 알고리즘 (Hole Filling Algorithm)이 최종 중간 영상의 화질에 많은 영향을 미치고 있으므로, 이 실험에서는 먼저 틈새를 채우지 않은 상태의 중간 영상, 고정 거리 기반 가중치 할당 틈새 영역 채움 알고리즘[9]과 인페인팅 알고리즘[14]의 세 가지 방법을 적용시킨 후의 영상들을 원본 영상과의 화질을 비교하였다. 최종 중간 영상과 원본 간의 비교를 위해 기존에 많이 사용되고 있는 PSNR(Peak Signal-to-Noise Ratio)을 활용하였다.

 

Ⅳ. 실험 결과 분석 및 토의

이 실험 결과의 분석을 위하여, 먼저 각 실험 군을 이용한 최종 다시점 중간 영상을 살펴보고 이를 원본 영상과 PSNR을 비교한 값을 살펴보았다. 각 실험 군마다 틈새 영역을 채우지 않은 상태를 먼저 비교하였고, 고정 거리 기반 가중치 할당 알고리즘과 인페인팅 알고리즘을 적용한 후에 PSNR을 비교하였다.

4.1. 틈새 영역 채우지 않은 중간 영상

그림 1과 그림 2는 “브레이크댄서“ 와 “발레“ 영상에 대하여, 실험 방법(M1 ~ M5)에 따라 생성된 최종 중간 영상에서 틈새 영역 채움 알고리즘을 적용시키기 직전의 영상을 원본 영상과 비교한 결과를 보여준다. 그림 3과 4는 그림 1과 2의 일부 영역을 확대한 것이다. 그림에서 보이듯이, M1 ~ M5 모두에서 크게 틈새가 벌어진 영역들은 큰 차이를 보이지 않지만, M1과 M3에서 보이는 뒤에 위치한 벽면이나 바닥면 같은 곳에 작은 틈새가 많이 있던 부분들이 M2, M4나 M5에서는 상당히 사라져 있음을 확인할 수 있다. 이는 깊이 정보의 확대 적용이 표면 재구성 방법보다 작은 틈새를 메우는데 좀더 영향을 끼치고 있음을 보여준다.

그림 1.브레이크 댄서 (M1 ~ M5, 원본) Fig. 1 Breakdancers (M1 ~ M5, original)

그림 2.발레 (M1 ~ M5, 원본) Fig. 2 Ballet (M1 ~ M5, original)

그림 3.그림 1의 일부 영역을 확대한 영상 Fig. 3 Zoomed Image of Fig. 1 (M1 ~ M5, original)

그림 4.그림 2의 일부 영역을 확대한 영상 Fig. 4 Enlarged Image of Fig. 2 (M1 ~ M5, original)

그림 5는 각각 브레이크 댄서 영상과 발레 영상의 다시점 중간 영상을 원본 영상과 비교한 결과를 보여준다. 이 결과는 틈새가 메워지지 않은 상태로 비교했기 때문에 PSNR 값이 상당히 낮긴 하지만, 틈새 영역 채움 알고리즘에 의해서 영향 받기 전의 결과를 확인할 수 있다. 이 결과에서 보이듯이 모든 카메라에 대해서 M1 < M3 < M2 < M4 < M5 순서로 PSNR 값이 점차 높아지는 것을 볼 수 있다. 특히 M2, M4, M5는 비슷한 결과를 보이고 있다.

그림 5.브레이크댄서(위)와 발레(아래) 영상의 실험 방법 (M1-M5)에 따른 평균 PSNR 값 (틈새 채움 알고리즘 미적용) Fig. 5 Average PSNR values for experiment methods (M1-M5) using no hole-filling algorithm on Breakdancers (top) and Ballet (bottom)

이는 DIBR 기반 다시점 중간 영상 생성에서 기존의 점 구름만 (즉, M1) 사용하는 것보다는 메쉬화 (즉, M3) 시키는 것이 더 좋은 결과를 내고, 나아가 깊이 정보 확장(즉, M2, M4, M5)을 시키는 것이 더 좋은 결과를 얻을 수 있음을 보여준다. 가장 좋은 결과는 깊이 정보 확장과 표면 재구성 방법을 모두 (즉, M5) 적용시키는 것이지만, 점 구름의 깊이 정보 확장만 시켰을 때(즉, M2)에도 충분히 향상된 결과가 나타남을 볼 수 있다.

4.2. 고정 거리 기반 가중치 할당 알고리즘 적용

그림 3과 그림 4에서도 보이듯이, 틈새 영역을 채우지 않은 경우 중간 영상들을 확인했을 때에 분명히 작은 틈새 영역들이 점 구름을 메쉬 구성만 한 것보다는 깊이 정보를 확장했을 경우 좀 더 나은 결과를 확인할 수 있다. 그런데 틈새 영역 채움 알고리즘을 적용했을 경우에는 좀 다른 결과를 보였다.

표 2와 표 3은 브레이크 댄서 영상과 발레 영상에 대해서 다시점 중간 영상을 고정 거리 기반 가중치 할당 틈새 영역 채움 알고리즘을 적용한 뒤에 원본 영상을 비교한 결과를 보여준다. 이 결과에서는 모든 카메라에 대해서 M1 < M2 < M3 < M4 < M5 순서로 PSNR 값이 점차 높아지는 것을 볼 수 있다. 그런데 단순하게 점 구름만을 사용한 M1보다는 깊이 정보를 확장한 M2와 메쉬 구성만 적용한 M3가 약간 나은 결과를 보여주고 있다. 다만 틈새 영역을 채우지 않았을 때에는 모든 카메라 시점에 대해서 M2가 M3보다 확연히 더 좋은 결과를 보여준 것에 반해서 고정 거리 기반 가중치 할당 틈새 영역 채움 알고리즘을 적용시킨 후에는 M2와 M3의 결과가 다소 비슷하게 나오는 것을 확인할 수 있었다. 또한 깊이 정보 확장과 메쉬 구성을 같이 적용한 M4, M5의 결과도 비슷하게 나타났다.

표 2.브레이크 댄서 영상의 평균 PSNR 값 (고정 거리 기반 가중치 알고리즘 Table. 2 Average PSNR values of Breakdancers using fixed distance weighted average allocation algorithm

표 3.발레 영상의 평균 PSNR 값 (고정 거리 기반 가중치 알고리즘) Table. 3 Average PSNR values of Ballet using fixed distance-weighted average allocation algorithm

발레 영상의 경우, 모든 카메라 시점에 대해서 다른 실험군에 결과가 M1의 결과보다 0.2 ~ 0.3 dB 정도의 향상이 있었다. 그런데 브레이크 댄서 영상의 경우 특히 카메라 3,5,6에서 M4, M5의 결과가 M1의 결과보다 1.0 ~ 1.4 dB 정도의 개선이 있었다.

4.3. 인페인팅 알고리즘 적용

표 4와 표 5는 인페인팅 틈새 영역 채움 알고리즘(Inpainting Hole-Filling Algorithm)을 적용한 브레이크 댄서와 발레 영상에 대해서 각 실험 군 별로 PSNR 값을 비교한 결과를 보여준다. 고정 거리 기반 가중치 할당 틈새 영역 채움 알고리즘을 적용한 결과와 비슷하게 발레 영상의 카메라 5, 6, 7을 제외하고는 M1 < M2 < M3 < M4 < M5 순서로 PSNR 값이 점차 높아지는 것을 볼 수 있다. 특히 모든 카메라 시점에 대해서 M1의 결과보다 깊이 정보 확장과 메쉬화를 모두 적용시킨 M4와 M5의 결과가 0.03 ~ 1.7 dB 정도의 개선이 있는 것으로 나타났다. 중심 카메라로부터 떨어진 위치, 영상의 종류, 틈새 채움 알고리즘의 종류에 따라 PSNR 값의 차이의 정도가 다르게 나타났지만, 추가 정보를 제공한 경우, 기존의 점 구름만을 사용하는 것보다 평균 PSNR이 높게 나타났다. 다만 M4와 M5는 그 차이가 크지 않음에 비해 수행 시간은 커질 수 있으므로, 약간의 질적 저하를 감수한다면 M4만으로도 충분히 괜찮은 결과를 뽑을 수 있는 것으로 확인되었다.

표 4.브레이크 댄서 영상의 평균 PSNR 값 (인페인팅 알고리즘) Table. 4 Average PSNR values using Inpainting algorithm on Breakdancers

표 5.발레 영상의 따른 평균 PSNR 값 (인페인팅 알고리즘) Table. 5 Average PSNR values using Inpainting algorithm on Ballet

중간영상을 뽑은 후 틈새 영역을 채우기 전이나 각종 틈새 영역 채움 알고리즘을 적용한 후의 평균 PSNR 값을 살펴보았을 때에도 단순하게 점 구름만을 사용하는 것보다는 깊이 정보 확장 방법이나 표면 재구성 방법을 활용하는 것이 훨씬 더 나은 영상을 보여줌을 확인할 수 있다. 특히 가상 카메라의 위치가 레퍼런스 카메라와 가까울수록 PSNR의 편차는 좀 더 크게 나타났다. 그리고 M4와 M5를 비교했을 때에는 M4보다는 M5가 더 나은 결과를 보여주기는 했지만, 그 차이가 크지 않는 것으로 나타났다.

틈새 영역 채움 알고리즘이 적용되지 않았을 때에는 단순히 점 구름만을 사용했을 때보다 깊이 정보를 확장한 경우에도 확연하게 좋은 결과가 나타났다. 하지만 틈새 채움 영역 알고리즘이 적용되었을 때에는 그 차이가 비록 적긴 하지만 그래도 깊이 정보를 확장하거나 메쉬 구성을 시켰을 경우 품질이 개선된 결과가 나옴을 확인할 수 있었다. 오히려 실험군별로 고정 거리 기반 가중치 할당 틈새 영역 채움 알고리즘이나 인페인팅 틈새 영역 채움 알고리즘의 결과는 다소 비슷한 양상을 보이고 있다.

 

Ⅴ. 결 론

본 논문에서는 DIBR 기반의 다시점 중간 영상을 생성하는 데 있어서 최종 화질을 개선하기 위하여 깊이 정보를 확장해서 적용시키는 방법과 메쉬 구성을 시키는 방법을 적용시켜 보았다. 또한 추가로 깊이 정보 확장과 메쉬 구성 방법을 교차 적용시켜가면서 어떤 것이 가장 좋은 결과를 낼 수 있는 가에 대해서 실험하고 그 결과를 분석하였다. 또한 이 실험에서는 여러 가지 틈새 영역 채움 알고리즘을 적용하여 이들 간의 결과의 차이점을 살펴보고자 하였다.

실험 결과에서 볼 수 있는 것처럼, 기본적인 점 구름만 활용하는 것보다 메쉬 구성이나 깊이 정보만을 확장하는 방법을 적용하였을 경우에 약간 나은 품질의 향상을 보였다. 특히 틈새 영역 알고리즘을 적용하지 않았을 때에는 깊이 정보의 확장이 품질 개선에 좋은 영향을 미치는 것으로 확인하였다. 반면 틈새 영역 알고리즘을 적용한 경우는 깊이 정보의 확장과 표면 재구성 방법을 동시에 같이 적용하였을 때에 화질이 좀 더 향상됨을 확인하였다.

추후 연구로 깊이 정보의 확장에서 현재 깊이 정보 전체를 일정 거리 뒤로 배치하는 방법을 사용하였는데, 실제 깊이 카메라의 속성 상 카메라에 가까운 영역은 좁게 나타나고 먼 영역은 깊이 영역 분할이 넓게 된다는 점에서 볼 때 가변적으로 확장하여 좀 더 높은 화질의 향상을 꾀할 수 있을 것으로 보인다. 또한 가상 카메라의 시점에 따라서 깊이 정보를 확장하는 방법을 좀 달리 한다거나, 틈새 채움 알고리즘을 새롭게 개발하는 것이 필요할 것으로 보인다.