스테레오 X-선 검색장치를 이용한 3차원 정보 가시화에 관한 연구

The Geometric Modeling for 3D Information of X-ray Inspection

Abstract

In this study, using X-ray cargo container scanning device and to differentiate the concept of three-dimensional information extraction applied for X-ray scanning device as an ingredient in the rotation of the X-Ray Linear Pushbroom Stereo System by introducing the geometric How to model was introduced. Three-dimensional information obtained through the matching of a single voxel space filled with a random vector operations for each voxel in the three dimensional shape reconstruction algorithm using the definition, and in time, the time required for each step were analyzed. Using OpenCV in each step by applying parallelization techniques approximately 1.8 times improvement in the processing time of the check, but do not meet the target within one minute levels. The other hand, X-ray images by the primary process to convert the point View the results of real-time stereo through a three-dimensional could feel the comfort level.

1. 서 론

미국은 9.11 사태 이후, 수출입물류의 보안 및 안전성 강화를 위해 자국으로 수입되는 모든 컨테이너 물류에 대하여 방사선 검색을 의무화하는 법률을 제정하였다. 이로 인해 컨테이너 물류 검색장치의 수요가 세계적으로 급증하고 있으며, 특히 수출 의존도가 상대적으로 높은 우리나라의 현실에서 보면 원활한 수출입에 부담이 아닐 수 없다.

방사선을 이용한 검색장치에 대한 연구는 미국과 중국을 중심으로 수행되어 왔으며, 최근에는 일부제품의 경우 상품화 단계에 이르고 있다. 따라서 우리나라에서도 X선을 이용한 컨테이너 검색장치에 관련된 기술 확보와 상품화를 위한 연구를 2000년대 후반부터 진행해 오고 있다. 검색장치에 관련된 기술은 X선 발생장치에 대한 부분, 영상을 획득하기 위한 센서에 관련된 부분, 컨테이너의 이송대차에 관련한 부분, 취득된 영상의 처리와 효율적 이용 등으로 구분되어 질 수 있다. 부가적으로 상품화된 검색장치의 기술적인 차별화를 위하여 2차원 정보만을 제공하는 기존의 검색기와 달리 3차원 정보를 제공할 수 있는 장치의 개발에 많은 연구가 진행되고 있다. 3차원 정보의 제공은 검색자로 하여금 검색 능률을 향상시키고 상품성을 높일 수 있다는 것에 주요한 의의가 있다고 하겠다. 따라서, 본 연구에서는 X선 검색장치를 이용하여 3차원 정보 제공에 관련된 일련의 사항에 대하여 서술하고, 3차원 형상화의 시간적 문제점을 처리프로세스의 병렬화를 통해 개선하였으며, 3차원 가시화의 일환으로 제공되어 질수 있는 실시간 스테레오 뷰에 관한 내용을 살펴보았다. 논 연구의 결과는 X-선을 이용한 3차원 투시장치에서 취득된 2차원 영상에 대한 3차원 처리는 연구가 거의 진행 되지 않는 상태에서 해운물류화물의 화물 검색기 개발의 핵심 기술 확보로 장비의 개발 능력 및 검색 기술력 강화에 많은 기여를 할 것으로 기대된다. 또한, 처리된 3차원 영상으로 검색장치를 다루는 운용자에게 양질을 정보를 제공함으로서 위험물질의 원천적 제거 및 불법 밀수품 예방으로 경제적·산업적 손실을 최소화하며 할 수 있으며, 밀수 및 밀입국 등과 같은 사회 안전을 심각하게 저해할 수 있는 요소를 효과적으로 예방하고, 나아가 원활한 수출입 업무에 직접적으로 기여할 수 있을 것으로 예상된다[1,2].

 

2. 스테레오 X-선 검색 장치의 구성

2.1 검색장치의 기하학적 모델링

Pushbroom 카메라에 대한 모델링은 물리적 모델, 추상적 모델 및 일반적 모델의 3가지 모델로 크게 구분할 수 있다[3].

물리적 모델에서는 위성 카메라와 지표면 간의 방향성, 위치 등의 물리적인 혹은 기하학적 관계를 모델링하여 관계식을 정립하고 이 관계식의 계수를 추정하는 방식으로 카메라 모델링을 수행하게 된다. 이때 추정되는 계수들은 각자 물리적인 의미를 지니는 계수들이며 물리적 모델이란 용어는 본 특성에서 기인하였고 물리적 모델링은 다시 벡터 진행 모델[4], 공선 방정식 모델[5], 변형된 공선 방정식 모델[6]로 세분되며, 본 연구에서는 추상적 모델링 중 DLT(Direct Linear Transformation) 모델링에 기반으로 하여 검색장치를 모델링하였다[7].

X, Z 평면상에서 Y축을 기준으로 만큼의 회전 성분이 있는 Gamma-Ray Linear Pushbroom Stereo System에 대한 내용을 살펴보면 아래와 같다.

그림 1은 만큼의 회전 성분이 있는 Linear pushbroom 센서 모델의 기하학적 구조를 나타내고 있으며, 위성영상의 추상적 모델링 Matrix에 성분이 포함된 아래와 같은 식으로 표현된다.

그림 1θ 만큼의 회전 성분이 있는 Linear pushbroom 센서의 모델링 Fig. 1 Rotational component of the Linear pushbroom sensor model

여기서, 컨테이너가 이동하는 속도 벡터는 와 같은 관계가 있으며, Y 축을 방향이 일치하고 성분이 서로 다른 2개의 센서 축을 가정하면 위의 식은 k 성분이 포함되면 아래와 같이 표현된다.

여기서 k= 1, 2 이며 1은 첫 번째 영상(0도 회전), 2는 두 번째 영상(도 회전)에 해당되는 값이 된다.

또한, 깊이 정보 Z의 성분은 식(4)로 표현되고

여기서, d = S2u2 − S1u1, d0 = (Tx2 − Tz2tanθ2) − (Tx1 − Tz1tanθ1)라고 하면 다음과 같다.

거리 정보 Z를 구한 후에 두 이미지의 한 점으로부터 x, y 좌표를 구할 수 있는데, 식 (2), (3)을 x, y 관계식으로 정리하면 아래와 같다

그림 2검색장치에서의 𝑓와 pv Fig. 2 The search apparatus pv and pv

사전 정의된 파라미터에 𝑓(초점거리)는 X선 발생장치에 Detector까지의 거리, pv는 X선 발생장치의 중심과 영상면의 중심 사이의 간격, scan 각의 차이 θ, scan 속도 S, 그리고, 센서의 초기 위치 좌표는 (Tx, Ty, Tz)이다.

2.2 스테레오 X-선 영상 획득 장치

그림 3은 연구를 위하여 실물크기의 1/10로 축소 제작된 X선 영상을 획득하기 위한 스테레오 X-선 획득 장치의 구성된 모습을 나타내고 있으며 그 구성은 X-선 발생장치 (X-ray Generator), 검색물체 등속 스캔용 이송장치, 그리고 시차각을 가진 두장의 2D 스캔 영상 획득을 위한 X-ray 디텍터로 이루어져 있다. 또한 시스템의 기하학적 구조를 최적화 시키기 위해 각종 모터를 설치하여 기하구조를 변화할 수 있도록 설계 하였으며, 정밀 제어를 위한 제어 시스템을 추가하였다.

그림 3스테레오 X-선 검색장치 Fig. 3 Stereo X-ray scanning device

X-선 발생장치는 관전압이 40kV에서 최대 120kV까지 인가할 수 있고, 관전류는 250uA에서 7500uA 범위 내에서 조절이 가능하다. X-선 발생 기준위치는 발생장치의 전면부로 부터 81.75㎜ 안쪽에, 밑면으로 부터 101.6㎜ 위쪽, 그리고 왼쪽 모서리를 기준으로 367.05㎜에 위치한다. X-선 빔의 방출부위에는 필터 기능을 하는 0.4㎜두께의 알루미늄이 놓여 있고, X-선 방출 빔의 각도는 상하 80°, 좌우 각도가 최대 10°인 팬빔 형태를 가진다.

X-선을 검출하는 검출기 내부의 X-선 감지용 어레이 포토다이오드 센서가 표면으로부터 안쪽으로 10㎜의 거리를 두고 위치에 있고, X-선 발생장치의 스팟(Spot)이 발생장치 표면으로부터 81.75㎜안쪽에 위치하기 때문에 소스로부터 검출기까지의 정확한 계산을 위해 91.8㎜를 고려해야 한다.

방사선 영상을 얻기 위한 듀얼 라인디텍터는 선형배열센서(Linear array detectors)로 이루어져 있고, 디텍터 라인의 픽셀은 640개(pixels)가 수직으로 적층되어 있다. 포토다이오드 센서는 X-선이 입사되는 0.1㎜의 알루미늄 윈도우로 덮여 있으며 개별 포토다이오드 센서의 구조는 높이 0.6㎜, 너 비 0.3㎜, 간격 0.4㎜의 형태이고 앞쪽에 부착된 신틸레이터 (CsI)에서 변환된 X-선의 광정보를 취득하여 2차원 영상을 형성하게 된다. 또한 디텍터 전면에 부착된 콜리메이터 (Collimator)는 0.4㎜의 너비로 되어 있으며 디텍터의 최소 영상 집적 시간이 0.5ms이므로 디텍터의 너비 0.3㎜를 고려 할 때 최대 스캔 속도인 60cm/s의 속도까지 대상물체 검색이 가능하다.

2.2 3차원 형상화 알고리즘의 병렬화

취득된 두 장의 X선 영상은 영상에 대한 전처리와 정합에 이용될 포인터 추출을 위한 Sobel 에지, 원도우 창을 이용한 유사도 검출에 의한 정합, 복셀의 벡터 연산을 통하여 3차원 형상 정보로 최종 표현되는 과정을 거치게 되는데, 단순한 형상정보만을 처리하는 경우에도 긴 시간이 소요되며 특히, 표현될 복셀의 크기에 따라 그 처리시간이 10분을 초과하는 많은 연산을 수행하게 된다. 아래의 그림 4는 5단계로 구분된 3차원 형상정보복원 과정을 보여주고 있다.

그림 43차원 형상정보복원을 위한 과정 Fig. 4 Shape the process for restoring information

그림 5는 각 단계별 처리시간을 나타낸 것으로 (a)의 경우는 복셀 사이즈가 5인 경우이며, (b)의 경우는 복셀 사이즈가 4인 경우를 보여주고 있다. 복셀 사이즈 5의 경우를 보면 볼륨복원 과정과 정합과정의 6초 후반대로 비슷한 시간이 소요되었으며, 다른 단계의 경우 1초미만의 처리시간이 소요되었음을 알 수 있는데, 복셀 사이즈가 4로 설정된 (b)의 경우는 다른 단계에 비하여 볼륨복원의 처리시간이 현저히 증가한 것을 볼 수 있다. 이러한 결과는 전체 복원 시간에서 정밀한 3차원 복원을 위하여 복셀 사이즈를 줄일 경우 볼륨복원에 해당되는 연산의 상당히 증가하여 전체복원 시간에 지배적인 영향을 미친다고 할 수 있다.

그림 53차원 복원의 각 단계별 처리 시간 Fig. 5 Processing time for each stage of restoration

특히, 그림 6은 복셀 사이즈의 변화에 따른 총 수행시간의 결과를 살펴보면 복셀의 크기가 1씩 줄어 들 때 마다 기하급수적으로 총 수행시간이 증가하고 최소 복셀 사이즈 1에서는 800초가 넘는 수행시간을 보여 주고 있어, 이는 검색자로 하여금 검색시간의 증가로 인한 비능률적인 검색장치 운용의 결과를 초래할 것으로 예상되며, 처리시간의 단축이 필수적인 것으로 판단된다. 따라서, 본 연구에서는 각 단계에서 적용되는 알고리즘의 반복되는 부분을 분석하여 OpenMP를 이용한 반복부분의 병렬화를 도입하여 그 처리 시간의 단축을 시도하였다.

그림 6복셀 사이즈에 따른 총 수행시간 비교 Fig. 6 Compared to the total execution time of the voxel size

그림 7은 CPU i7-2600(3.4GHz, 4Core), RAM 8G, 128GB SSD, Windows 7(64bits)의 시스템 환경에서 하이퍼스레딩 기능을 Disabled 한 Real Quad Core 만을 이용하여 OpenCV를 적용한 병렬화 전과 후의 총 수행시간의 결과이며, 복셀 사이즈가 증가함에 따라서 총 수행시간의 감소율이 큰 것으로 나타났으며, 복셀 사이즈 1의 경우 총 수행시간이 826.9초에서 454.6초로 줄어들어 대략 1.8배의 수행시간 감소 효과가 있는 것으로 확인되었다. 하지만 실제 검색장치에 적용될 수 있는 복셀 사이즈 2 정도에서 148.6초의 총 수행 시간은 2분이 넘는 처리시간을 보여주었고, 목표치 1분 이내를 위해서는 보다 지속적은 연구가 필요할 것으로 판단된다. 또한, 형상복원에 적용된 과정이 분석결과 세부적인 과정의 결과가 나온 후 다음 과정으로 진행되는 루틴이 많아 병렬처리의 효과가 작은 점도 해결해야 할 문제점으로 파악되었다.

그림 7병렬화 전과 후의 총 수행시간 비교 Fig. 7 Compared before and after the total execution time parallelism

그림 8은 병렬화 적용을 한 코드에서 복셀 사이즈 1로 설정한 가스토치의 3차원 형상복원 결과를 보여주고 있으며. 해당 결과는 병렬화 전과 동일한 형상복원이 결과를 나타내었으며, 병렬화를 위해 코드를 수정하여 생길 수 있는 처리 에러는 없는 것으로 확인되었다.

그림 8복셀 사이즈 1에서의 가스토치의 형상복원 결과 Fig. 8 Voxel size 1 to restore the shape of the result of the gas torch

2.2 실시간 스테레오 View의 도입

X선 검색장치의 주된 목적은 컨테이너에 대하여 미 개봉 상태로 내용물의 정보를 확인하는 것이다. 이러한 임무를 수행하는 검색자에게 2차원적인 영상의 정보만을 제공하는 것보다 다양한 정보를 제공함으로서 검색자가 보다 효과적으로 의심 물체를 찾아낼 수 있도록 2차원 영상에서 3차원 정보를 추출하여 제공할 수도 있지만, 실영상과는 달리 투과 영상인 X선 영상 자체가 가지는 특수성으로 인하여 추출될 수 있는 정보는 많은 제약을 가지며, 조금 더 정확하고 다양한 정보를 추출하기 위해서는 엄청난 시간과 노력이 필요하고, 해당 결과에 대한 만족도 또한 미지수이다.

취득된 두 장의 2차원 X-선 영상의 모델링 결과를 참조하여, 시점을 변환하고 스테레오 형태로 검색자에게 제공하며 제공된 영상을 통하여 정보의 추출이 아닌 검색자가 스스로 느낄 수 있게 해 주는 것도 컨테이너 화물의 효과적인 검색의 관점에서 의미가 있는 것으로 판단된다. 따라서, 본 연구에서는 입체감을 느낄 수 있는 요소인 시차를 검색자가 스스로 조정할 수 있는 기능과 실시간 스테레오 View로 3차원 정보를 추출한 복원 결과와 입체감을 비교해 보았다.

그림 9는 3차원 정보로 복원된 중첩물체의 결과 영상과 비교하기 위한 동일한 중첩물체에 대한 스테레오 출력의 결과이다. 좌측 영상을 기준으로 본다면 좌영상의 한 점은 우영상의 한 점으로 대응될 수 있으며, 이 대응점은 각 영상의 중심을 기준으로 볼 때 정류화가 된 영상의 경우 X축 방향을 좌표의 차이가 있을 것이며, 이 차이 값의 크기에 따라 바라본 점에서의 거리 정보가 규정될 수 있다. 본 연구에서는 취득된 두 X선 영상에서 한 영상을 기준으로 다른 영상을 좌표 변환하여 기준 영상을 각으로 표현한 후 기준영상에 변환영상을 오버랩하여 오버랩 된 영상을 상하, 좌우로 이동하며 관심 있는 부분에 시차를 없애게 되면 관심 있는 점을 중심으로 일정 공간 부분에 대하여 입체감을 느낄 수 있게 된다. 해당결과물은 편광방식의 3D 출력장치를 이용하여 10명의 검색자를 대상으로 입체감을 평가하는 실험에서 다수의 대상자가 상당한 입체감을 느낄 수 있음을 확인하였다. 또한, 검색자가 관심을 가지는 부분에 시차를 고정하게 되면 주위부분에 대해서는 입체감을 얻을 수 있어 검색의 효율성 측면에서 도움을 줄 수 있을 것으로 예상된다.

그림 9중첩물체의 스테레오 출력 Fig. 9 The stereo output of nested objects

 

3. 결 론

본 연구에서는 기존의 X선을 이용한 컨테이너 화물 검색 장치와의 차별화를 위해 3차원 정보 추출을 개념을 적용한 X선 검색장치에 대하여 만큼의 회전 성분이 있는 X-Ray Linear Pushbroom Stereo System을 도입하여 기하학적으로 모델링하는 방법을 소개하였고, 정합을 통하여 얻어진 3차원 정보를 이용하여 단일 복셀로 채워진 임의의 공간에서 각 복셀에 대하여 벡터 연산을 이용한 3차원 형상복원 알고리즘을 정의하고, 각 단계별 소요시간을 시간적으로 분석하였으며, 해당 단계에 OpenCV를 이용한 병렬화 기법을 적용하여 대략 1.8배의 총 수행시간의 향상을 확인하였으나, 해당 결과는 복셀 사이즈 2 정도에서 148.6초의 총 수행시간은 2분이 넘는 처리시간은 목표치 1분 이내에는 미치지 못하는 수준이었다. 반면, 취득된 두 장의 X선 영상을 기본 처리하여 시점 변환을 통한 실시간 스테레오 View의 결과물을 통하여 만족할 수준의 입체감을 느낄 수 있었다. 향후, 처리시간의 관점에서 보다 빠른 3차원 형상복원 처리를 위하여 알고리즘의 병렬화 비율을 높이고, 입체감이 더욱 향상된 실시간 스테레오 View를 위해 다양한 입체감에 대한 요소를 분석하여 적절히 적용하는 것에 대한 연구가 진행될 예정이다.