Reconstruction Method of Spatially Filtered 3D images in Integral Imaging based on Parallel Lens Array

병렬렌즈배열 기반의 집적영상에서 공간필터링된 3차원 영상 복원

Abstract

In this paper, we propose a novel reconstruction method of spatially filtered 3D images in integral imaging based on parallel lens array. The parallel lens array is composed of two lens arrays, which are positioned side by side through longitudinal direction. Conventional spatial filtering method by using convolution property between periodic functions has drawback that is the limitation of the position of target object. this caused the result that the target object should be located on the low depth resolution region. The available spatial filtering region of the spatial filtering method is depending on the focal length and the number of elemental lens in the integral imaging pickup system. In this regard, we propose the parallel lens array system to enhance the available spatial filtering region and depth resolution. The experiment result indicate that the proposed method outperforms the conventional method.

본 논문에서는 병렬렌즈배열 기반의 집적영상에서 공간필터링된 3차원 영상 복원법을 제안한다. 병렬렌즈배열은 두 매의 렌즈배열을 병렬로 배열하는 획득 시스템 이다. 종래의 집적영상에서 주기적인 함수들의 컨벌루션 특성을 이용하는 공간필터링 방법의 문제점으로 인식하고자 하는 물체의 위치가 제한적이라는 단점과 이로 인해 획득 시스템에서 깊이해상력이 상대적으로 낮은 영역에 물체가 위치하여야 하는 단점이 있다. 깊이인식방법을 이론적으로 분석한 결과 깊이인식가능 영역과 요소영상에 획득된 3차원 물체의 깊이 정보는 획득시스템에 사용되는 요소렌즈의 개수와 요소렌즈의 초점거리에 따라 결정됨을 알 수 있다. 따라서 깊이인식영역과 깊이해상력을 개선 할 수 있는 방법으로 획득 시스템에 두 매의 렌즈배열을 병렬로 배치하는 시스템을 제안한다. 제안하는 방법에 대한 이론적 분석을 하였으며 실험을 수행하였고 그 결과를 보고한다.

Ⅰ. 서 론

집적영상(Integral Imaging)은 3차원 영상구현에 있어서 효과적인 방법 중 하나로 여겨지며 다양한 장점으로 인하여 3차원 영상 구현 분야 뿐만 아니라 집적영상의 특성을 이용하여 물체인식, 깊이추출, 물체추적 등의 분야에도 응용되고 있다[1-17]. 예를 들면 집적영상에서 얻어지는 요소영상은 3차원 물체의 다양한 시점영상 배열로 구성되기 때문에 시점영상간의 디스패리티(disparity)를 이용하여 3차원 깊이 정보를 추출하는 연구가 있었다[7-9]. 또한 다양한 시점 영상을 특정 면으로 확대 축소를 수행함으로서 깊이에 따른 평면영상들을 얻을 수 있어서 3차원 물체 인식을 수행하는 연구가 있었다[10].

이처럼 집적영상을 기반으로 한 다양한 3차원 영상구현 이론들이 발표되어 왔지만 그 중 획득된 요소영상배열을 복잡한 광학계를 통하여 재생하는 어려움을 해결하기 위한 수단으로 기하광학의 원리를 이용한 컴퓨터영상처리기술이 연구된 바 있으며[5], 이 알고리즘은 다양한 연구 분야에서 응용되고 있다[7-13].

최근에 집적영상 기반으로 새로운 형태의 깊이인식이론이 발표되었다[18,19], 이 이론에 따르면 집적영상의 획득 시스템을 통해 획득된 2차원 요소영상배열은 3차원 물체의 공간 정보를 저장하고 있으며, 저장된 공간정보의 특성은 물체의 깊이에 따라 고유한 주기를 갖는다는 것이다. 이 이론에서 3차원 공간의 깊이 정보가 렌즈배열을 통해 2차원 공간주기 정보로 변환되는 과정을 파동광학으로 해석하였으며, 획득된 요소영상 배열로부터 원하는 깊이의 정보를 획득하기 위하여 주기함수들 사이의 컨벌루션 특성 (Convolution Property between Periodic Functions; CPPF)을 분석 하였다. 요소영상배열은 깊이에 대응하는 주기함수들의 집합이므로 이 집합에서 특정 주기함수를 추출하기 위하여 단위세기응답(Intensity Impulse response)을 갖는 δ-함수배열과 요소영상배열의 컨벌루션 (Convolution)을 통하여 특정 깊이의 깊이정보를 추출할 수 있다. 이때 δ-함수배열의 주기는 추출하고자 하는 깊이에 대응하는 값을 갖는다.

그러나 집적영상 획득 시스템의 물리적인 한계로 인하여 3차원 공간위에서 물체가 위치할 수 있는 범위에 제한이 있으며, 이로 인해 깊이 해상도가 저하되는 단점이 발생한다.

본 논문에서는 종래의 집적영상기반 CPPF가 갖는 물리적 한계를 개선하기 위한 방법으로 두 매의 렌즈배열을 병렬로 배열하는 획득 시스템을 제안한다. 제안하는 시스템을 사용할 경우 요소영상배열은 종래의 CPPF와 동일한 해상도를 갖으면서도 깊이 해상력이 증가 될 수 있으며, 물체가 위치할 수 있는 범위 또한 증가시킬 수 있다. 또한, 제안하는 방법의 유용성을 보이기 위하여 종래의 방법과 제안하는 방법에 대한 비교실험을 수행하였다.

 

Ⅱ. 종래의 CPPF 획득 시스템

집적영상 (Integral Imaging) 에서 물체의 3차원 정보는 요소렌즈(elemental lens)가 연속적으로 배열된 렌즈배열(lens array)을 통하여 결상되며 카메라나 CCD(charge coupled device)등의 장비를 이용하여 2차원 형태로 저장된다. 저장된 2차원 영상을 요소영상배열(elemental image array)이라 하고 각 요소렌즈에 대응되는 영상을 요소영상(elemental image)이라 하며 획득 과정은 그림 2와 같이 표현 할 수 있다. 그림 1은 공간상의 점 물체, 렌즈배열, 요소영상의 기하 광학적 관계를 2차원 좌표계로 나타낸 것이다.

그림 1.렌즈 배열에서 점물체와 이미징점들과의 기하학적 관계 Fig. 1 Geometrical relation between a point object and imaging points in the lens array method.

그림 2.집적영상 획득 시스템에서 3차원 물체정보가 획득 가능한 영역 Fig. 2 Effective pickup zone in integral imaging system for capturing 3 dimensional information of object

이때 변수들의 대응관계는 다음과 같이 표현된다.

그림 1과 식 (1)에서 좌표의 원점은 렌즈배열의 제일 아래에 위치한 요소렌즈의 가장자리이다. zOm과 xO는 각각 z축과 x축에 대응하는 물체의 좌표이며, 실물체의 경우 zOm ˂ 0을 만족한다. P는 이웃한 요소렌즈광축 사이의 거리이고, 요소렌즈의 직경이기도 하다. f는 요소렌즈의 초점거리이며, xEn은 n번째 요소렌즈에 의한 x축 상의 결상 점을 나타낸다. 물체의 깊이 zOm에 대응하는 요소영상배열의 공간주기(spatial period)는 |xEs-xE(s-1)| = |zOmP/(zOm+f)|, 2 ≤ s ≤ N이며 N은 수직방향 요소렌즈의 총 개수 이다. 그러나 CCD 등과 같이 요소영상면에 위치한 센서는 불연속적인 픽셀(pixel)로 구성되어 있으므로 공간주기는 픽셀단위로 단위의 변환이 필요하며 다음과 같이 표현된다.

식 (2)에서 K는 1차원 조건에서 측면방향의 해상도이다.

전통적인 2차원 결상에서 영상의 강도(image intensity)는 g(xE) = f(xE) ∗ h(xE)로 표현되며, ∗는 콘볼루션(Convolution) 연산을 의미한다. xE는 요소영상면위의 x좌표를 의미하며, f(xE)는 물체의 강도가 광학계에 의해 배율이 조정된 함수이고, h(xE)는 임펄스 응답 (impulse response) 이다[10]. 그러나 3차원 물체의 결상표현은 물체의 깊이정보 zOm에 의존적이므로 g(xE)|zOm = f(xE)|zOm ∗ h(xE)|zOm로 표현되어야 하며 g(xE)|zOm는 요소영상을 의미한다. 또한 다수의 요소렌즈로 구성된 집적 영상 시스템에서 기하광학적 조건(λ→0)을 가정할 경우, 임펄스응답은 와 같이 δ-함수 배열로 표현 할 수 있다. 임펄스응답은 물체의 깊이, 즉 물체와 렌즈배열 사이의 거리에 따라 고유한 주기를 갖는 δ-함수 배열로 표현되며 식 (2)를 이용하여 주기적인 형태로 표현하면 다음과 같다.

그러므로 집적 영상에서 렌즈배열에 의해 획득, 저장된 요소영상배열에 대한 1차원 표현 은 다음과 같다.

물체들이 z축 방향으로 연속 또는 불연속적으로 놓여 있을 경우 요소영상배열은 깊이에 대응하는 요소영상배열들의 합으로 표현되어 다음과 같이 표현된다.

요소영상배열 G(xE)는 물체 또는 물체들의 공간정보를 담고 있으며 요소영상배열 G(xE)로부터 특정 깊이면(depth plane)에 대응하는 영상정보추출은 요소영상배열과 목표하는 깊이면에 대응하는 주기를 갖는 δ-함수 배열사이의 콘볼루션 연산으로 가능하고 다음과 같이 수식(6)으로 표현된다.

수식 (6)에서 G(xE)가 한 개의 얇은 평면 물체에 대한 정보만 담고 있을 때, S(xE)|zOn은 깊이면의 위치에 대응하는 δ-함수 배열 s(xE)|zOn가 평면물체의 깊이에 대응하는 공간주기와 같을 때에만 물체의 깊이 대한 영상정보를 추출 한다. 또한 물체의 공간주기와 깊이면에 대응하는 s(xE)|zOn가 서로 다를 경우, S(xE)|zOn는 해당 깊이면에 대응하는 물체의 디포커싱 영상정보를 추출 하며, 이는 요소영상배열 G(xE)에 물체의 형태정보뿐 아니라 공간정보역시 저장하고 있기 때문에 나타나는 특성이다.

 

Ⅲ. 병렬렌즈배열을 이용한 CPPF 방법

그러나 종래의 집적영상 획득 시스템은 광학계 변수들의 물리적 한계로 인하여 인식하고자 하는 물체의 위치를 제한하며 그림 2는 그 관계를 보여준다.

그림 1의 기하학적 관계로부터 집적영상 획득시스템으로부터 3차원 물체 정보가 획득 가능한 영역 조건을 유도할 수 있으며 다음과 같이 수식 (7)로 표현 할 수 있다.

식 (7)로부터 확인 할 수 있듯이, 3차원 정보 획득 가능영역은 렌즈배열을 구성하는 요소렌즈의 총 개수(kmax), 초점거리(f), 직경(P) 등의 변수와 관계있음을 알 수 있다. 또한 식(7)의 첫째 줄과 셋째 줄에 위치한 부등식으로부터 최소 물체 위치(xmin, xO)가 ((1-kmax)f, Pkmax/2)임을 계산할 수 있다.

따라서 본 논문에서는 렌즈배열 두 매가 병렬로 배열된 형태의 집적영상 획득 시스템을 제안한다. 식 (7)을 살펴보면 3차원 정보 획득 가능영역은 요소렌즈의 물리적 특성 중 초점거리에 반비례함을 확인할 수 있으며, 그 결과로 3차원 정보 획득 가능영역은 렌즈배열쪽으로 증가되고 깊이 해상도가 더 높은 영역을 활용 할 수 있게 된다. 이러한 관점에서 병렬 렌즈배열 시스템은 3차원 정보 획득 가능영역의 증가와 깊이 해상도를 증가시키는 가장 효율적인 방법이다. 그림 3은 병렬 렌즈배열시스템의 기하학적 구조를 보여주며, 다음과 같이 식 (8)로 표현할 수 있다.

그림 3.병렬 렌즈배열 시스템에서 점물체와 이미징점들 사이의 기하학적 관계 Fig. 3 Geometrical relation between a point object and imaging points in the parallel lens array system

식 (8)에서 ff와 fr은 각각 전방(front)과 후방(rear)에 놓인 렌즈배열을 구성하는 요소렌즈의 초점거리이고, 다른 변수들을 그림 1과 수식 1의 변수들과 동일하다. 여기서 물체의 깊이에 대응하는 요소영상배열 위 3차원 정보의 공간주기(Spatial Period)는 수식 (9)와 같다.

2 ≤ s ≤ N이며 N은 수직방향 요소렌즈의 총 개수 이다. 픽셀화된 공간주기 (Pixelated spatial period)는 식 (9)를 식 (2)에 대입하여 구할 수 있다.

종래의 시스템과 제안하는 병렬 렌즈배열 시스템의 깊이 해상도는 두 경우 동일하게 식 (10)으로 주어진다.

식 (10)에서 N은 개별 요소렌즈에 대응하는 픽셀의 개수를 의미하고 XZon은 깊이 Zon에 대응하는 공간주기를 의미하며 공간주기의 범위는 N ≤ XZon ≤ 2N이다. 제안하는 병렬 렌즈배열 방식에서 초점거리는 합성렌즈의 등가 초점거리, f = fffr/(ff+fr),를 사용한다.

식 (10)으로부터 알 수 있듯이 집적영상 기반의 깊이정보 추출법인 CPPF 방법의 깊이해상도는 획득 장치의 해상도와 초점거리에 비례한다. 그림 4는 종래의 획득 시스템과 제안하는 병렬 렌즈배열 시스템에 대한 CPPF의 깊이 해상력을 계산한 그래프이다. 계산에서 종래의 CPPF의 경우 요소렌즈의 초점거리는 f = 30mm, 직경 P = 10mm 이고, 제안하는 병렬렌즈배열을 이용한 CPPF의 경우 요소렌즈의 초점거리는 ff = 30mm, fr = 30mm, 직경 P = 10mm이다. 요소렌즈에 대응하는 영역의 해상도는 100x100 pixel 이고 이는 두 경우 모두에서 동일한 조건을 주었다. 그림 4의 그래프 (a)와 (c)에서 확인 할 수 있듯이 제안하는 병렬 렌즈배열 시스템을 이용한 CPPF의 경우 깊이 해상력이 증가됨을 알 수 있다.

그림 4.깊이 해상력: (a) 제안하는 방법과 종래의 방법에 대한 깊이 해상력, (b) 종래의 획득시스템에 대한 깊이 해상력, (c) 제안하는 획득시스템에 대한 깊이 해상력 Fig. 4 Depth resolution in the method of CPPF: (a) overall depth resolution for the conventional and parallel lens array method, (b) scaled graph of (a) for the conventional integral imaging system, (c) scaled graph of (a) for the parallel lens array integral imaging system

 

Ⅳ. 실험 및 결과

제안하는 병렬 렌즈배열 시스템을 이용한 CPPF 방법의 검증 및 실행가능성을 확인하기 위하여 종래의 시스템을 이용한 CPPF 결과와 비교실험을 수행하였다.

그림 5는 실험에 사용된 3차원 물체로써 알파벳 ‘H’, ‘N’, ‘U’가 사용되었으며, 그림 5(a)에서 확인 할 수 있듯이 물체를 정면에서 관찰 했을때 물체들이 서로 약간 겹쳐지도록 배열하였다. 또한 제안하는 방법과 종래의 방법에 사용된 획득 시스템으로 부터 물체의 위치는 두 경우 모두에 있어서 동일하게 위치 시켰으며, ‘H'’ ‘N’, ‘U’는 각각 획득 시스템으로부터 100 mm, 150 mm, 200mm 떨어진 곳에 놓여있다. 종래의 방법에서 요소영상 획득에 사용된 렌즈배열로 9x9 요소렌즈가 사용되었으며 각 요소렌즈의 초점거리는 30 mm, 직경은 10 mm 이다. 제안하는 병렬 렌즈배열 방법에 사용된 렌즈배열은 실험의 편의성을 위하여 종래의 방법에 사용된 렌즈배열 두 매를 병렬로 배열하여 사용하였다.

그림 5.실험에 사용된 3차원 물체 : (a) 정면에서 관찰한 영상, (b) 원근 시점 영상 Fig. 5 three dimensional object used in the experiments : (a) front view image, (b) perspective view image

그림 6은 종래의 획득 시스템과 제안하는 병렬 렌즈배열 시스템을 통해 획득된 요소영상 배열을 보여준다. 그림 6의 요소영상 배열들을 이용하여 종래의 방법과 제안하는 방법에 대한 각각의 경우에 대하여 CPPF를 통한 깊이 대응 영상을 추출 실험을 하였으며 그 결과는 그림 7과 8에서 보여주고 있다.

그림 6.획득된 요소영상 : (a) 종래의 획득 시스템을 통해 획득된 요소영상, (b) 제안하는 병렬 렌즈배열을 통해 획득된 요소영상 Fig. 6 elemental image arrays : (a) elemental image array by using conventional pickup system, (b) elemental image array by using proposed pickup system

그림 7.종래의 획득시스템에서 CPPF를 이용한 공간필터링 결과 : (a) 공간필터링된 요소영상, (b) 그림 (a)의 일부분을 확대한 영상 Fig. 7 Spatial filtering result by using CPPF in conventional method : (a) spatially filtered elemental image array, (b) enlarged image of the area surrounded by a solid line in (a)

그림 8.제안하는 병렬 렌즈배열 획득시스템에서 CPPF를 이용한 공간필터링 결과 : (a) 공간필터링된 요소영상, (b) 그림 (a)의 일부분을 확대한 영상 Fig. 8 Spatial filtering result by using CPPF in proposed parallel lens array method : (a) spatially filtered elemental image array, (b) enlarged image of the area surrounded by a solid line in (a)

먼저 종래의 방법을 통해 추출된 영상을 살펴보면, 그림 5에 표시된 물체 ‘H’로부터 예상가능 한 결과와 비교해 볼 때 그림 6 (a)를 공간 필터링한 결과 영상 그림 7은 많은 노이즈로 인하여 인식하기 어려운 결과물이 추출된 것을 확인 할 수 있다.

이러한 결과의 이유는 식 (7)에서 논의한바와 같이 종래의 획득시스템에 대한 최소물체 위치는 렌즈배열로부터 240 mm 이지만 물체 ‘H’는 높은 깊이 해상력 영역을 이용하기 위하여 100 mm에서 획득되었기 때문이다. 물체의 위치는 높은 해상력 영역에 놓여있으나 그림 2에서 논의한 바와 같이 시스템의 물리적 한계로 인하여 인식하고자하는 물체에 대한 3차원 정보를 충분히 획득할 수 없다.

제안하는 병렬 렌즈배열 시스템으로 획득된 요소영상 그림 6(b)를 이용해 공간필터링 된 결과영상을 살펴보면, 그림 8에서 확인할 수 있듯이 물체에 대한 인식이 가능한 수준으로 특정 깊이의 영상정보 획득이 가능함을 확인 할 수 있다.

그림 9는 종래의 방법과 제안하는 방법 각각에 대한 거리에 따른 공간 필터링 결과영상을 보여준다. 공간필터링 범위는 렌즈 배열로부터 100 mm에서 200 mm이며, 거리에 따라 연속적으로 추출되는 깊이 대응 영상 중 물체의 위치에 대응하는 깊이에 대응하는 영상만 모아놓은 것이다.

그림 9.종래의 방법과 제안하는 방법 각각을 이용해 거리에 따라 공간 필터링한 영상 비교 : (a) 종래의 방법을 이용한 공간필터링 결과영상 (b) 제안하는 방법을 이용해 공간 필터링한 결과영상 Fig. 9 Comparison of spatial filtering results : (a) conventional spatial filtering result, (b) proposed spatial filtering result

 

Ⅴ. 결 론

결론적으로 본 논문에서는 집적 영상 기술을 이용한 공간 필터링 방법인 CPPF의 성능을 향상시키기 위하여 새로운 형태의 획득시스템인 병렬 렌즈배열 획득 시스템을 제안하였으며 이론적 분석을 통하여 제안하는 방법에 대한 특성을 분석하였다. 또한 제안하는 방법의 유용성을 확인하기 위하여 종래의 방법과 비교 실험을 수행하였고 실험결과 종래의 방법에서 인식하고자 하는 물체의 위치에 제한이 발생하는 문제에 대하여 제안하는 방법을 통해 물체의 위치 범위를 향상시킬 수 있었으며 결과적으로 깊이 해상력을 향상시킬 수 있음을 확인하였다.