Improvement of Mid-Wave Infrared Image Visibility Using Edge Information of KOMPSAT-3A Panchromatic Image

KOMPSAT-3A 전정색 영상의 윤곽 정보를 이용한 중적외선 영상 시인성 개선

Abstract

Mid-wave infrared (MWIR) imagery, due to its ability to capture the temperature of land cover and objects, serves as a crucial data source in various fields including environmental monitoring and defense. The KOMPSAT-3A satellite acquires MWIR imagery with high spatial resolution compared to other satellites. However, the limited spatial resolution of MWIR imagery, in comparison to electro-optical (EO) imagery, constrains the optimal utilization of the KOMPSAT-3A data. This study aims to create a highly visible MWIR fusion image by leveraging the edge information from the KOMPSAT-3A panchromatic (PAN) image. Preprocessing is implemented to mitigate the relative geometric errors between the PAN and MWIR images. Subsequently, we employ a pre-trained pixel difference network (PiDiNet), a deep learning-based edge information extraction technique, to extract the boundaries of objects from the preprocessed PAN images. The MWIR fusion imagery is then generated by emphasizing the brightness value corresponding to the edge information of the PAN image. To evaluate the proposed method, the MWIR fusion images were generated in three different sites. As a result, the boundaries of terrain and objects in the MWIR fusion images were emphasized to provide detailed thermal information of the interest area. Especially, the MWIR fusion image provided the thermal information of objects such as airplanes and ships which are hard to detect in the original MWIR images. This study demonstrated that the proposed method could generate a single image that combines visible details from an EO image and thermal information from an MWIR image, which contributes to increasing the usage of MWIR imagery.

중적외선(mid-wave infrared, MWIR) 영상은 피복 및 객체의 온도를 파악할 수 있어 환경, 국방 등 다양한 분야에서 핵심 데이터로 사용된다. KOMPSAT-3A 위성은 타 위성에 비해 높은 공간해상도의 MWIR 영상을 제공하지만, 광학(electro-optical, EO) 영상에 비해 상대적으로 낮은 시인성을 가져 활용성의 확대에 어려움을 겪는다. 이에 본 연구에서는 KOMPSAT-3A 전정색(panchromatic, PAN) 영상의 윤곽 정보를 기반으로 시인성이 높은 MWIR 융합 영상을 제작하고자 한다. 먼저, 이종 센서에서 취득된 PAN 영상과 MWIR 영상의 상대 기하오차를 제거하는 전처리를 수행하고, 딥러닝 기반 윤곽 정보 추출 기술인 Pixel difference network (PiDiNet)의 사전 학습 모델을 이용하여 PAN 영상에 대한 윤곽 정보를 추출한다. 이후 전처리된 MWIR 영상과 추출된 윤곽 정보를 중첩하여 객체 경계면이 강조된 MWIR 융합 영상을 제작한다. 제안 방법을 이용하여 서로 다른 세 지역에 대한 MWIR 융합 영상을 제작하였으며, 이를 시각적으로 분석하였다. 본 기법을 통해 제작된 MWIR 융합 영상은 지형 및 지물의 경계면이 강조되어 시인성이 개선되었으며, 세부적으로 관심 지역에 대한 열 정보를 전달할 수 있었다. 특히, MWIR 융합 영상에서는 저해상도의 원본 MWIR 영상에서 식별할 수 없었던 비행기, 선박 등의 객체를 육안으로 판독할 수 있었다. 본 연구는 가시적인 정보와 열 정보를 동시에 고려할 수 있는 단일 영상 제작 방법론을 제시하였으며, 이는 MWIR 영상의 활용성 확대에 이바지할 수 있을 것으로 사료된다.

1. 서론

중적외선(mid-wave infrared, MWIR) 위성영상은 3–8 μm 범위의 파장대역으로 일반적인 물체의 복사에너지를 탐지할 수 있어 지표 및 객체의 온도를 파악하는데 유용하며 전천후에 영상을 취득할 수 있다(Lee and Kim, 2022). 이에 따라, MWIR 위성 영상은 대기 오염 모니터링이나 목표물 탐지 등 열정보를 이용하는 원격탐사의 다양한 분야의 연구에 사용되고 있다(Prata, 2009; Kim and Hong, 2019).

국방 분야는 MWIR 영상의 활용성이 높은 분야 중 하나로, 고열을 방출하는 무기의 특성상 열정보를 이용하면 미사일, 핵무기 등 다양한 안보 위협을 탐지할 수 있다(Park et al., 2010). 기존 지구 관측 위성의 MWIR 영상은 낮은 해상도로 인하여 광범위한 지역에 대한 열정보 취득에 한정적으로 활용되었으나, 2015년 발사된 KOMPSAT-3A 위성은 3–5 μm 파장대역의 MWIR 영상을 높은 공간해상도로 제공하여 관심지역에 대해 세밀한 열정보 분석이 가능하다. 그러나 KOMPSAT-3A의 MWIR 영상 또한 1 m급의 공간해상도로 취득되는 다중분광(multispectral, MS), 전정색(panchromatic, PAN) 등의 고해상도 광학(electro-optical, EO) 영상에 비해 상대적으로 낮은 공간해상도를 가진다. 이에 따라, 항공기, 컨테이너 등 주요 객체의 경계면이 분명하지 않아 MWIR 영상을 단독으로 이용하여 세부적인 열 정보를 분석하기에는 무리가 있다.

이와 같은 한계점을 극복하기 위한 대표적인 방법은 서로 다른 특성의 두 영상의 장점을 결합하여 하나의 새로운 영상을 생성하는 기법인 영상 융합(image fusion)이다(Wang et al., 2005). Choi and Kim (2010)은 다양한 분광 정보를 갖고 있는 MS 영상과 고해상도 PAN 영상을 결합하여 고해상도 MS 영상을 생성하는 것을 목표로 원 MS 영상의 분광정보의 훼손이 적도록 밴드의 특성에 맞춰 조정되는 계수를 제안하였으며, Kim and Choi (2015)는 EO-1 위성에서 취득한 MS, PAN 영상과 Hyperion 센서에서 취득한 초분광 영상으로 2단계의 영상 융합을 수행하여 고해상도 초분광 영상을 생성하였다. 기존에는 주로 EO 영상간 융합이 수행되었으나, 최근에는 MWIR 융합 영상 제작 연구의 필요성이 대두되었다. Oh et al. (2019)은 KOMPSAT-3A 위성의 EO 영상과 다운샘플링(downsampling)된 MWIR 영상 번들(bundle)을 이용해 EO 영상 기반의 가상 고주파 영상을 생성하고, 최적 융합 계수를 제안하여 다운샘플링 된 MWIR 영상을 원본 MWIR 영상의 공간해상도로 복원하는 연구를 수행하였다.

또한, 최근 딥러닝을 활용한 연구가 활발하게 이루어지면서 딥러닝 네트워크를 이용하여 영상 융합을 수행하는 초해상화(super-resolution) 연구도 이루어지고 있다. Oh et al. (2023) 은 CycleGAN 모델을 이용하여 저해상도 영상에 대한 고해상도 영상쌍을 생성하고 Residual channel attention network (RCAN)를 이용하여 시인성이 개선된 KOMPSAT-3/3A PAN 영상울 생성하였다. MWIR 영상의 초해상화를 위해 Kim et al. (2022)은 경계선의 해상도를 복원할 수 있는 초해상화 네트워크인 Edge enhanced deep alternating network (EEDAN)와 Advanced very-high-resolution radiometer (AVHRR) 센서에서 취득된 MWIR 위성영상을 이용해 sea surface temperature 영상에서 해수면 경계선의 정확도를 높이는 연구를 수행하였으며, Nguyen et al. (2022)은 MODIS 적외선 위성 영상의 공간해상도 4배 향상을 목표로 초해상화를 위한 Multi-Residual U-Net 네트워크를 제안하여 시인성이 개선된 MWIR 영상을 산출하였다. 이와 같이 기존의 MWIR 영상 시인성 개선 연구는 고해상도 EO 영상의 고주파 정보를 주입하거나 딥러닝 네트워크를 사용하여 가상의 고해상도 MWIR 영상을 생성하는 방식으로 이루어졌다. 이러한 방식은 공간 해상도 향상을 통한 시인성 개선이라는 목표에 부합하나, 기존의 다양한 영상 융합 기법들이 분광 정보 보존의 측면에서 원하는 성과를 얻지 못한 것을 고려하였을 때(Zhang et al., 2020), 원본 MWIR 영상의 분광 정보를 왜곡시킬 수 있다는 한계점이 존재한다.

따라서, 본 연구에서는 KOMPSAT-3A PAN 영상의 윤곽 정보(edge information)를 기반으로 분광 특성의 왜곡을 최소화함과 동시에 시인성을 높인 MWIR 융합 영상 제작을 수행하고자 한다. 이를 위해 MWIR 영상과 PAN 영상 간 존재하는 상대적인 기하오차를 최소화하는 전처리작업을 수행한 후, 윤곽선 검출 딥러닝 네트워크를 이용하여 PAN 영상의 윤곽 정보를 추출한다. 그리고 PAN 영상에서 추출한 윤곽 정보를 전처리된 MWIR 영상에 중첩하여 시인성이 개선된 영상을 제작한다. 또한, KOMPSAT-3A AN 및 MWIR 영상과 윤곽정보에 대한 참조 데이터(ground truth)를 이용하여 제안 기법으로 생성된 융합영상에 대한 정성적 및 정량적 평가를 진행하였다.

2. 연구 방법

본 연구에서는 KOMPSAT-3A PAN의 윤곽 정보를 활용하여 MWIR 영상의 시인성을 개선하기 위해 Fig. 1과 같은 융합영상 제작 방법론을 제안한다. 먼저, PAN 영상의 윤곽 추출이 용이하도록 영상 전처리 과정을 수행한 후 Su et al. (2021)이 설계한 Pixel difference network (PiDiNet)를 이용하여 PAN 영상의 윤곽 확률맵(edge probability map)을 추출하고, 임계값을 이용하여 최종 윤곽 정보를 추출한다. 이후 전처리를 수행한 MWIR 영상에서 PAN 영상으로부터 추출한 윤곽 정보와 중첩되는 영역에 주변 지역보다 높은 밝기값을 부여하여 객체의 경계면이 강조된 MWIR 융합 영상을 제작한다.

Fig. 1. Fusion image generation of KOMPSAT-3A pan chromatic (PAN) and mid-wave infrared (MWIR) images.

2.1. 영상 전처리

KOMPSAT-3A의 PAN과 MWIR 영상은 서로 다른 센서에서 취득되기 때문에 촬영 당시 센서의 위치, 자세 등의 차이로 인해 Fig. 2(a)와 같이 영상 간 상대 기하 오차(relative geometric misalignment)가 존재한다(Kim et al., 2023). 이러한 기하오차는 융합영상 생성 시 품질을 저해하는 주된 요소로 작용하므로, 본 연구에서는 Kim et al. (2023)이 제안한 상대기하보정 기술을 이용하여 Fig. 2(b)와 같이 PAN 영상과 MWIR 영상 내 상대적인 위치오차를 최소화하였다.

Fig. 2. Overlapped examples of KOMPSAT-3A PAN and MWIR full scene images. (a) Before image registration. (b) After image registration.

본 연구에서 윤곽 추출을 위해 이용한 PiDiNet은 8비트의 RGB 입력 영상을 기준으로 학습되어 있다. 그러나 KOMPSAT-3A PAN 영상의 경우 14비트 방사해상도(radiometric resolution)의 단일 밴드로 제공된다. 이에 따라, 히스토그램(histogram)의 상한 및 하한 값을 설정하여 해당 범위 내로 영상의 분광 특성을 변환하는 선형 대비 스트레칭 기법을 이용하여 상대 기하오차가 제거된 16비트의 PAN 영상을 대비가 강조된 8비트 영상으로 변환하여 연구에 이용하였다.

2.2. PiDiNet을 이용한 PAN 영상 윤곽 정보 추출

영상 내 윤곽은 직선 구간, 모퉁이, 접합부 등 영상에서 화소값이 뚜렷하게 변하는 경계선이다(Davis, 1975). 전통적인 윤곽 정보 추출 기술은 도함수를 이용하여 영상에서 기울기가 급격하게 변화하는 객체를 윤곽으로 탐지하였으나, 위성 영상에서 발생하는 그림자에 의해 실제 객체의 경계면과 고주파 영역이 일치하지 않을 수 있기 때문에 분광 정보만을 이용하여 객체의 윤곽을 추출하기에는 어려움이 있다. 최근 다양한 분야에서 이용되고 있는 딥러닝 기반 윤곽 정보 추출 기술은 입력 영상의 밝기 정보와 다양한 특성을 내포하고 있는 특징맵(feature map)을 이용하여 윤곽 정보를 탐지한다(Xie and Tu, 2015; Pu et al., 2022). 따라서, 딥러닝 기반 기술은 분광정보 뿐만 아니라 훼손되지 않은 원본 객체의 형태 등을 고려할 수 있기 때문에 그림자에 의한 영상정보의 훼손에 강인한 윤곽을 추출할 수 있다.

PiDiNet은 전통적인 윤곽 정보 추출 기술의 특성과 대표적인 영상 처리 딥러닝 네트워크인 Convolutional neural network (CNN)의 특성을 융합한 네트워크로, Pixel difference convolution (PDC) 연산을 수행하여 윤곽 추출에 유리한 특징을 선별한다(Fig. 3). 일반적인 k × k 크기의 컨볼루션(convolution) 커널은 식(1)과 같이 무작위로 선택된 초기 파라미터 θ와 local patch x를 이용하여 연산을 수행하기 때문에, 산출된 특징맵 y에 윤곽 정보와 연관성이 낮은 특징맵이 다수 포함된다. 반면 PDC 연산은 식(2)와 같이 인접 화소간 차분을 계산하여 local patch로 이용하기 때문에 컨볼루션 연산 과정에 기울기 정보 ∇x를 포함하여 윤곽 추출에 최적화된 특징 맵을 산출할 수 있다.

Fig. 3. Pixel difference convolution operation according to pixel pair selection (Su et al., 2021).

\(\begin{aligned}y=f(x, \theta)=\sum_{i=1}^{k \times k} w_{i} \cdot x_{i}\end{aligned}\)       (1)

\(\begin{aligned}y=f(\nabla x, \theta)=\sum_{\left(x_{i}, x_{i}^{\prime}\right) \in P} w_{i} \cdot\left(x_{i}-x_{i}^{\prime}\right)\end{aligned}\)       (2)

여기서, x_i 와 x_i′은 인접한 픽셀이고, w_i 는 k × k 크기의 컨볼루션 커널의 가중치이며, P = {(x₁, x₁′), (x₂, x₂′), …, (x_m, x_m′)}는 local patch에서 선택된 차분을 구할 픽셀의 집합이다(m ≤ k × k).

사전 학습된 PiDiNet은 위성 영상과 스케일, 관심 객체 등에서 도메인 특성이 상이한 다량의 자연 이미지 데이터셋으로 학습되었기 때문에, 위성영상에 최적화된 윤곽을 추출하기에는 무리가 있다. 그러나, 다양한 지형 및 지물 등으로 복잡한 지표 특성을 가진 고해상도 위성영상에 대한 다량의 윤곽 추출 데이터셋의 구축에는 어려움이 존재한다. 이에 따라, 본 연구에서는 Fig. 4와 같이 사전 학습된 PiDiNet을 이용하여 PAN 영상의 관심 지역에 대한 윤곽 확률맵을 추출하였다. 윤곽 확률 맵은 각 픽셀이 윤곽으로 분류될 확률을 나타내며, 윤곽일 가능성이 높을수록 큰 값을 가진다. 윤곽 확률맵을 배경과 윤곽으로 분류된 윤곽 이진 영상(edge binary image)으로 변환하기 위해 실험적으로 임계값을 조정하여 적절한 임계값을 탐색하였으며, 이를 기반으로 변환된 윤곽 이진 영상을 PAN 영상의 최종 윤곽 정보로 정의하였다.

Fig. 4. Edge information extraction process of PAN image using the pre-trained pixel difference network.

2.3. 윤곽 정보를 이용한 MWIR 융합 영상 제작

본 연구에서는 Fig. 5와 같이 전처리 과정을 통해 PAN 영상과 좌표 정보 및 영상 크기가 동일해진 MWIR 영상과, 앞선 과정을 거쳐 얻어진 윤곽 정보를 중첩하여 객체의 경계면이 강조된 MWIR 융합 영상을 제작한다. PAN에서 추출된 윤곽 정보와 전처리된 MWIR 영상의 중첩 영역을 시각적으로 강조하기 위해서는 해당 영역이 영상에서 높은 화소값을 가져야 한다. 이에 따라 전처리된 MWIR 영상 내 화소값의 최대값과 표준 편차를 가산하여 객체의 경계면을 강조하기 위한 화소값으로 이용하였으며, MWIR 영상에서 윤곽 정보와 대응되는 영역의 픽셀을 해당 값으로 대체하여 MWIR 융합 영상을 생성한다.

Fig. 5. Fusion image generation process using preprocessed MWIR image and PAN edge information. PAN_edge, MWIR_raw, and MWIR_fusion represent the edge information extracted from PAN image, preprocessed MWIR image, and fused MWIR image, respectively.

3. 연구 지역 및 데이터

본 연구에서는 MWIR 융합 영상 제작을 위해 서로 다른 피복을 가진 세 지역을 연구 지역으로 선정하였으며, Fig. 6과 같이 연구 지역에서 취득한 KOMPSAT-3A의 PAN 영상과 전처리된 MWIR Level 1G 영상에서 4,000 × 4,000 화소 크기의 관심 지역을 선정하여 융합 영상 제작을 수행하였다. Site 1은 네덜란드 지역에서 취득한 영상으로 농경지와 도심지가 혼재되어 있으며(Fig. 6a), Site 2는 중국 지역에서 취득한 영상으로 수계 지역 주변으로 항구도시가 위치하며 대형 및 소형 선박 객체가 포함되어 있다(Fig. 6b). 마지막으로 Site 3은 핀란드 지역에서 취득한 공항 및 활주로 인근의 영상으로 대형 및 소형 비행기가 포함되어 있다(Fig. 6c).

Fig. 6. Experimental datasets for image fusion. (a) Site 1. (b) Site 2. (c) Site 3.

또한, 본 연구에서는 Site 1의 PAN 영상에서 Fig. 7(a)와 같이 1,500 × 1,500 화소 크기의 관심 지역을 선정하였으며, Fig. 7(b)와 같이 디지타이징(digitizing)을 수행하여 PiDiNet의 윤곽 추출 결과에 대한 정성적 평가를 위한 참조 데이터를 구축하였다. 참조 데이터 구축 시 그림자와 소형 자동차 등의 윤곽을 제외하고 농경지, 수계, 건물의 옆면과 윗면, 식생 등 유의미하다고 판단한 객체의 경계면을 윤곽 정보로 정의하였고, 명확한 시각적 평가를 위해 모폴로지(morphology) 연산을 이용하여 윤곽을 6 pixels로 팽창하였다. 각 데이터에 대한 세부 내용은 Table 1과 같다.

Fig. 7. Ground truth data. (a) Original data. (b) Label data.

Table 1. Specification of experimental data

4. 연구 결과 및 분석

4.1. 참조 데이터를 이용한 윤곽 추출 결과 분석

본 연구에서는 사전 학습된 PiDiNet의 윤곽 추출 결과를 정성적, 정량적으로 분석하기 위해 참조 데이터에 대한 윤곽 확률맵을 생성하였으며, 임계값을 적용하여 Fig. 8과 같이 윤곽 정보를 추출하였다. 정성적 분석 결과, 농경지 및 도로와 같이 선형성이 강한 지역과 분광 정보간 대비가 큰 피복의 경계면과 같은 지역에서는 윤곽 정보가 일관성 있게 추출된 것을 확인할 수 있었다. 하지만 영상 상단의 주거 지역에서는 건물이 밀집되어 있어 객체 간 경계면이 확연하게 분리되지 않은 것을 확인하였다. 이는 주거 지역 내의 높은 건물에 의한 그림자와 건물 주변에 분포한 자동차 등에 의해 건물의 경계면을 명확하게 정의하기 어렵기 때문으로 사료된다.

Fig. 8. Result of extracting the edge information in the PAN image.

다음으로, 디지타이징을 수행한 참조 데이터를 이용하여 PiDiNet으로 추출된 윤곽 정보의 정량적 분석을 수행하였다. 윤곽 정보는 영상에서 분포하는 비율이 작아 배경 클래스와의 클래스 불균형(class imbalance)의 영향이 크다(Huang et al., 2016). 이에 따라 본 연구에서는 클래스 불균형에 강인한 평가지표인 F1-score와 Intersection over union (IoU)을 산출하여 추출된 윤곽정보를 평가하였다. IoU는 영상 분할(image segmentation)에서 주로 사용되는 성능 지표로, 실제 값과 예측 값의 교집합과 합집합의 비로 정의된다. F1-score는 정밀도(precision)와 재현율(recall)의 조화평균으로 두 지표의 트레이드오프(trade-off)를 고려할 수 있는 지표이다. IoU, 정밀도 및 재현율은 오차행렬(confusion matrix)을 기반으로 계산되어 각각 식(3), (4)와 같이 나타낼 수 있으며, 이를 바탕으로 계산한 F1-score는 식(5)와 같다.

\(\begin{aligned}I o U=\frac{T P}{T P+F P+F N}\end{aligned}\)       (3)

\(\begin{aligned}\text {Precision}=\frac{T P}{T P+F P}\end{aligned}\)       (4)

\(\begin{aligned}\text {F1-score}=\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}= \frac{2 \times T P}{2 \times T P+F P+F N}\end{aligned}\)       (5)

여기서, TP와 FP는 각각 true positive와 false positive를 의미하며, FN은 false negative를 나타낸다.

참조 데이터를 기반으로 계산된 윤곽 정보의 정확도는 F1-score 0.6154, IoU는 0.4445로 측정되었다. 이는 영상 분할과 같은 작업을 기준으로 하였을 때 수치적으로 낮은 정확도로 볼 수 있으나, 윤곽 정보는 영상 전체에서 상대적으로 매우 작은 면적을 차지하기 때문에 예측 영역과 실제 영역의 미세한 차이에도 정확도가 크게 감소한다. 이러한 윤곽 추출의 특성에 따라 존재하는 한계점 외에도 윤곽 추출 네트워크가 영상 내에 그림자나 피복의 질감 차이 등을 윤곽 정보로 추출하였으며, 이로 인해 정확도가 감소한 것으로 보인다. 또한, F1-score 값과 비교하였을 때 IoU 값이 상대적으로 낮았는데, 이는 균일한 굵기로 디지타이징된 참조 데이터와 다르게 예측 데이터는 강한 선형을 보이는 윤곽에서 과추출되는 경향이 있어 두 데이터의 전체 영역과 중첩 영역의 차가 크게 나타난 것으로 사료된다.

4.2. MWIR 융합 영상 제작 결과

PiDiNet을 이용하여 추출한 PAN 영상의 윤곽 정보를 기반으로 Fig. 9와 같이 MWIR 융합 영상을 제작하였다. 전반적으로 제안기법을 이용한 융합 이후 원본 MWIR 영상에 비해 시인성이 향상된 결과를 보였다. 농경지, 도로 등 객체 내의 화소값이 균일하며 객체의 경계면에서 화소값의 차이가 큰 피복에서는 두껍고 연결성이 우수한 윤곽 정보가 추출되었다. 반면, 식생과 같은 객체 내의 화소값이 일정하지 않은 영역이나 주거 지역 같은 인근 객체와의 경계면이 명확하지 않은 지역에서는 윤곽 정보가 얇고 연결성이 떨어지는 경향을 보였다.

Fig. 9. Comparison before and after MWIR image fusion using the proposed method. (a) Site 1. (b) Site 2. (c) Site 3.

제안 기법을 이용하여 제작된 MWIR 융합영상의 세부적인 특성을 분석하기 위해, PAN 영상과 MWIR 융합 전후영상 내에 일부지역을 확대하여 추가적인 분석을 진행하였다. Fig. 10은 Fig. 9(a) Site 1의 일부 영역을 확대한 영상이다. Fig. 10(a-b)와 같이 원본 MWIR 영상에서는 농경지 간 구분이 명확하지 않으며, 주거 지역에서 도로와 건물의 구분이 어려운 것을 확인할 수 있다. 반면 MWIR 융합 영상에서는 농경지간 구획이 뚜렷하며, 건물 사이에 존재하는 도로가 건물과 보다 명확하게 구분되는 것을 확인할 수 있다(Fig. 10c). MWIR 융합 영상에서 농경지나 도로의 윤곽 정보가 주거 지역에 비해 우수한 시인성을 보이는 것을 확인할 수 있는데, 이는 농경지와 도로는 피복이 단순한 반면 주거지역은 다수의 건물과 자동차 등에 의하여 지표 특성이 복잡하기 때문으로 사료된다.

Fig. 10. Detailed comparison of PAN, MWIR, and fused MWIR images of Site 1. (a) Region 1. (b) Region 2. (c) Region 3.

Fig. 11은 Fig. 9(b) Site 2의 일부 지역을 확대한 영상이다. Fig. 11(a)의 수계지역은 화소값이 균일하며 인접한 항구 지역과의 화소값 차이가 크기 때문에 연결성이 우수한 윤곽 정보가 추출되었다. 또한, 원본 MWIR 영상에서는 항구와 선박이 명확하게 분리되지 않았으나, MWIR 융합 영상에서는 선박의 윤곽 정보가 뚜렷하게 추출되어 항구와 선박의 열 정보를 개별적으로 추출할 수 있다. Fig. 11(b)는 공업단지 지역으로, 주거지역에 비해 건물의 크기가 크고 밀집도가 낮기 때문에 추출된 윤곽 정보의 연결성이 우수하여 MWIR 융합 영상에서 시인성이 명확하게 개선되었다. 그러나 Fig. 11(c)의 부두의 경우 원본 MWIR 영상에서 수계 지역과 유사한 열을 방출하여 수체와 객체가 명확하게 구분되지 않으나, MWIR 융합 영상에서는 객체에서 추출된 두꺼운 윤곽 정보가 중첩되었기 때문에 영상의 시인성이 증가하지만 원본 객체의 열정보가 훼손된다.

Fig. 11. Detailed comparison of PAN, MWIR, and fused MWIR images of Site 2. (a) Region 1. (b) Region 2. (c) Region 3.

Fig. 12는 Fig. 9(c) Site 3의 관심 지역에 대한 세부적인 영상을 보여준다. Fig. 12(a)와 같이 원본 MWIR 영상에서는 활주로의 윤곽 정보가 명확하지 않으나, MWIR 융합 영상에서는 특정지역에 대한 정보를 가시적으로 확인할 수 있었다. 또한, Fig. 12(b)의 원본 MWIR 영상에서는 영상 내의 대형 비행기를 육안으로 확인할 수 없으나, 융합 MWIR 영상을 이용하여 해당 객체의 열 정보를 분석할 수 있다. Site 3은 인공구조물이 주로 분포하여, 대다수의 객체가 선형성이 강하며 경계면이 뚜렷하기 때문에 유의미한 윤곽이 다수 추출되었다. 그러나 Fig. 12(c)의 식생 지역의 경우, 개별 객체 간의 미세한 질감 차를 윤곽 정보로 오탐지하여 시인성을 저해하는 원인으로 작용하였다.

Fig. 12. Detailed comparison of PAN, MWIR, and fused MWIR images of Site 3. (a) Region 1. (b) Region 2. (c) Region 3.

5. 결론

본 연구에서는 KOMPSAT-3A의 MWIR 영상의 시인성을 개선하여 활용성을 확대하기 위해, 고해상도 PAN 영상의 윤곽 정보를 MWIR 영상에 중첩한 융합 영상을 제작하는 기술을 제안하였다. MWIR 영상의 중첩을 위해 PAN 영상의 전처리를 수행하고, 딥러닝 기반 윤곽 추출 기술인 PiDiNet을 활용하여 전처리된 PAN 영상의 윤곽 정보를 추출하였다. 그리고 영상의 최대값과 표준편차를 이용해 MWIR 영상에서 PAN 영상의 윤곽 정보와 중첩되는 화소를 강조하여 객체의 경계면이 뚜렷한 MWIR 융합 영상을 제작하였다.

참조 데이터를 이용하여 계산한 윤곽 추출 정확도는 F1-score 0.6154, IoU 0.4445로 수치적으로 낮은 정확도를 보였으며, 윤곽 추출 작업의 특성에서 기인한 한계점과 영상 내 그림자나 피복의 질감 차이 등이 탐지 정확도 저하 요인으로 판단된다. 그럼에도 불구하고 PAN 영상에서 추출된 윤곽 정보를 이용하여 제작된 MWIR 융합 영상에서 객체 간 경계면이 명확하게 분리되었으며, 이에 따라 제안된 윤곽선 기반 융합 방법론은 MWIR 영상에 존재하는 고유의 분광정보를 유지하면서 시인성이 개선되는 것을 확인할 수 있었다.

제안한 윤곽선 기반 MWIR 융합 영상 제작 방법론은 낮은 공간해상도로 시각 분석에 어려움을 겪었던 KOMPSAT-3A MWIR 영상의 활용성을 확대할 수 있으며, 추후 발사 예정인 KOMPSAT-7–7A호에 탑재될 MWIR 영상의 활용 분야 확대를 위한 기반 기술로 활용할 수 있을 것으로 사료된다. 하지만 선형성이 강한 구간에서 추출된 두꺼운 윤곽 정보나 차선, 식생, 소형 객체 등에서 과추출된 윤곽 정보에 의해 원본 MWIR 영상의 분광 정보가 저해되었다는 한계점이 존재한다. 이를 개선하기 위해, 추후 추출된 PAN 영상의 윤곽 정보를 MWIR 영상 위에 직접 중첩하지 않고 윤곽 정보를 벡터화하여 MWIR 영상에 부가 정보로 제공하는 연구를 수행하고자 한다.