Evaluation of Block-based Sharpening Algorithms for Fusion of Hyperion and ALI Imagery

Hyperion과 ALI 영상의 융합을 위한 블록 기반의 융합기법 평가

Abstract

An Image fusion, or Pansharpening is a methodology of increasing the spatial resolution of image with low-spatial resolution using high-spatial resolution images. In this paper, we have performed an image fusion of hyperspectral imagery by using panchromatic image with high-spatial resolution, multispectral and hyperspectral images with low-spatial resolution, which had been acquired by ALI and Hyperion of EO-1 satellite sensors. The study has been mainly focused on evaluating performance of fusion process following to the image fusion methodology of the block association, which had applied to ALI and Hyperion dataset by considering spectral characteristics between multispectral and hyperspectral images. The results from experiments have been identified that the proposed algorithm efficiently improved the spatial resolution and minimized spectral distortion comparing with results from a fusion of the only panchromatic and hyperspectral images and the existing block-based fusion method. Through the study in a proposed algorithm, we could concluded in that those applications of airborne hyperspectral sensors and various hyperspectral satellite sensors will be launched at future by enlarge its usages.

영상융합 기법은 고해상도 영상을 이용하여 저해상도 영상의 공간해상도를 증대시키는 방법이다. 본 논문에서는 EO-1 위성에 탑재된 ALI 센서와 Hyperion 센서로부터 취득된 고해상도 흑백영상, 저해상도 다중분광 영상 및 초분광 영상을 활용한 초분광 영상의 융합기법에 대한 연구를 수행하였다. 특히, 초분광 영상과 다중분광 영상의 특성을 고려하여 초분광 영상의 블록을 구성하여 ALI 및 Hyperion 영상에 적용하고, 이에 따른 영상융합 기법의 성능을 평가하고자 하였다. 실험결과, 고해상도 흑백영상만을 사용한 융합결과와 비교하여 저해상도 다중분광 영상을 활용한 블록기반의 융합기법이 공간해상도를 효율적으로 향상시킬 수 있음을 확인하였으며, 제안된 융합기법이 기존의 블록기반 융합기법과 비교하여 분광왜곡을 최소화시킬 수 있음을 확인하였다. 이를 통해, 향후 발사될 다양한 초분광 위성 및 항공기 초분광 센서의 활용을 증대시킬 수 있을 것으로 판단된다.

1. 서 론

센서의 기술발전에 따라서 최근의 인공위성 센서들은 높은 공간해상도 (spatial resolution)를 가지는 영상의 취득과, 다양한 분광파장대(spectral wavelength)의 정보를 취득할 수 있는 다중분광(multispectral), 초분광(hyperspectral) 영상의 취득이라는 2가지 관점에서 발전되고 있다. 특히, 10㎚ 이내의 좁고(narrow), 연속적인(continuous) 분광파장대의 영상을 획득할 수 있는 초분광영상은 토지피복지도의 생성, 지형 및 지물의 변화탐지(change detection), 표적탐지(target detection) 등과 같은 원격탐사 활용분야에 효과적으로 적용할 수 있는 가능성을 지닌다.

현재, 국내에서 취득가능한 초분광 영상은 CASI(Compact Airborne Spectrographic Imager) 및 AISA(Airborne Imaging Spectrometer for Applications) 등과 같은 항공 초분광 센서를 활용한 방법과 NASA(National Aeronautics and Space Administration)의 EO-1(Earth Observing-1) 위성에 탑재된 Hyperion 센서에서 얻어진 영상이 대표적이며, 향후, HISUI(Hyperspectral Imager SUIte), EnMAP (Environmental Mapping and Analysis Program) 등과 같은 다양한 초분광 센서를 탑재한 인공위성이 발사될 예정이다 (Yamamoto et al., 2012).

이에 따라 고해상도의 다중분광영상과 흑백영상을 이용하여 초분광 영상의 공간해상도를 증대시키는 영상 융합(image fusion, sharpening)에 대한 연구가 최근 들어 진행되고 있다. ALI 영상을 이용하여 Hyperion 영상의 공간해상도를 증가시킬 경우, 영상 분류 및 변화탐지 알고리즘 적용에 있어서 해상도 증가에 따른 정확도 개선이 가능할 것으로 판단된다. 국외의 경우, Cetin and Musaoglu(2009)는 초분광 영상과 전정 영상의 융합에 대하여 기존의 융합방법을 비교하는 연구를 수행하였으며, Yokoya et al.(2012)은 분광혼합기법(spectral mixture analysis)을 기반으로 하는 초분광 영상융합 기법인 CNMF(Coupled Nonnegative Matrix Factorization)을 제안하고, 이를 초분광영상에 적용하여 알고리즘의 성능을 평가하였다. Sylla et al.(2014)은 기존의 고해상도 위성영상에 적용되는 ARSIS(Amelioration de la Resolution Spatiale par Injection de Structures) 기법을 블록(block) 기반의 융합 기법으로 확장하여 낮은 공간해상도를 가진 다중분광 및 초분광 영상을 융합하여 초분광 영상의 공간해상도를 개선하였다. 국내의 경우, Choi et al.(2006)이 2단계 분광혼합기법 기반의 융합 방법을 제안하고, 이를 Hyperion과 ALI 흑백영상에 적용한 바 있으며, Kim(2014)은 CNMF의 알고리즘을 수정한 융합 기법을 제안하고, 초분광 영상의 분광파장대를 벗어나는 다중분광영상을 이용하여 초분광 영상의 공간해상도를 개선하는 연구를 진행하기도 하였다.

본 논문에서는 NASA의 EO-1 위성에 탑재된 ALI 및 Hyperion 센서에서 취득된 영상의 융합을 위하여 초분광 영상과 다중분광 영상의 블록 구성에 따른 영상융합 기법을 제안하였다. 이를 위하여, Sylla et al.(2014)이 제안한 블록 기반의 영상융합 기법을 개선하여 Hyperion 영상에 적합한 블록생성 방법을 제안하였다. 해당기법은 서울지역의 ALI 및 Hyperion 영상에 적용하였으며, 블록 구성에 따른 영상 융합의 결과를 분석하고자 하였다.

 

2. 연구 자료 및 대상지역

2.1 사용 데이터

앞서 언급한 바와 같이, 본 논문에서는 EO-1 위성에 탑재된 ALI 및 Hyperion 센서를 활용하여 실험을 수행하였다. ALI 센서는 10m 공간해상도의 흑백영상과 30m 공간해상도의 다중분광영상을 제공하며, Hyperion 센서는 30m 공간해상도를 지니는 VNIR(VIsible and Near-InfraRed)과 SWIR(Short-Wave InfraRed) 파장영역의 초분광영상을 제공한다. EO-1 위성 내 센서들의 특성은 Table 1과 같다.

Table 1.Specifications of the EO-1 satellite

2.2 대상지역

본 연구에서는 2010년 9월 7일에 촬영된 서울지역의 ALI 및 Hyperion 영상을 사용하였다. 다양한 종류의 토지피복이 존재하는 지역에 대하여 실험을 수행하기 위하여 한강을 포함한 지역을 실험대상지역으로 선정하였으며, 실험에 사용한 해당지역은 Fig. 1과 같다.

Fig. 1.Study area: (a) ALI panchromatic image, (b) ALI multispectral image, (c) Hyperion image

2.3 전처리

ALI 및 Hyperion 영상의 기하학적 특성과 분광적인 특성을 동일하게 조정하기 위한 전처리를 수행하였다. 첫 번째로, 융합영상을 생성하기 위해서는 ALI 및 Hyperion 영상은 동일한 좌표체계를 지녀야 한다. 이를 위하여, GCP(Ground Control Point)를 활용한 기하보정을 수행하여 두 영상의 좌표를 일치시켰다. 또한, ALI 및 Hyperion 영상은 DN(Digital Number) 값으로 이루어져 있기 때문에, 대기보정(atmospheric correction) 과정을 수행하여, 영상의 DN 값을 분광반사 율(reflectance)로 변환하였다. 대기보정의 경우, ALI 다중분광영상과 Hyperion 영상은 ATCOR(Atmospheric and Topographic CORrection) 모듈을 활용하였으며, ALI 흑백 영상은 NASA에서 제공한 모델식을 활용하여 TOA(Top Of Atmospheric) 분광반사율로 변환하였다(Brook and Ben-Dor 2011). 한편, 분광반사율로 변환된 초분광 영상의 일부 밴드들은 Fig. 2와 같이 노이즈를 포함하고 있는 경우가 존재하기 때문에 최종적으로 노이즈로 판단되는 해당 밴드들을 제거하여 총 151개의 초분광 밴드자료를 실험 자료로 사용하였다.

Fig. 2.Noise bands of Hyperion data: (a) strip noise, (b) random noise

 

3. 연구 방법

본 연구에서는 초분광 영상과 다중분광영상의 블록화 과정을 통하여 다중분광영상의 특정 밴드와 초분광 영상의 특정파장대 구간을 대응시켰다. 각 분광파장대의 특성에 따라 블록화된 각 영상들에 기존의 영상융합기법을 적용하여 고 해상도의 초분광영상을 취득하였다. 본 연구의 연구흐름도는 Fig. 3과 같다.

Fig. 3.Workflow of the proposed algorithm

3.1 영상융합 기법

일반적인 영상융합 기법은 고해상도의 흑백영상과 저해상도의 다중분광 영상을 융합하기 위하여 사용된다. 고해상도 의 흑백영상을 Ph, n 개의 밴드로 이루어진 저해상도의 다중분광영상을 (i=1,2,…,n), 융합기법에 의하여 생성되는 고해상도의 다중분광 융합영상을 (i=1,2,…,n)라고 할 때, 영상융합은 식 (1)과 같이 정의할 수 있다(Choi et al., 2012).

여기서, gi는 i번째 밴드에 대응되는 융합계수를 의미하며, Il은 고해상도 흑백영상과 유사한 분광특성을 지니는 가상의 흑백영상을 의미한다. 한편, 영상융합기법은 Il의 생성방법에 따라서 CS(Component-Substitution) 기반 기법과 MRA(MultiResolution Analysis) 기법으로 구분할 수 있다 (Choi et al., 2012). CS기반의 기법은 다중분광영상을 이용하여 Il을 생성하며, MRA기반의 기법은 흑백영상을 이용하여 Il을 생성한다. 본 연구에서는 상대적으로 공간특성의 향상에 있어서 장점을 지니는 CS기반의 융합기법을 활용하였다. CS기반의 융합기법 중, GSA(Gram-Schmidt Adaptive) 기법과 GCAP(Global Context Adaptive Pansharpening) 기법을 이용하여 ALI 흑백영상(Ph)과 ALI 다중분광영상()을 융합하였으며, 최종적으로 고해상도의 다중분광 영상 을 취득하였다(Choi et al., 2012).

(1) GSA 융합

GSA융합기법은 영상의 분산 및 공분산을 이용하여 흑백영상과 다중분광영상을 융합하는 기법이다(Aiazzi et al., 2009). GSA의 경우, 고해상도 흑백영상과 다중분광영상간의 회귀분석(linear regression)을 활용하여 고해상도 흑백영상과 가장 유사한 Il을 생성하게 된다. 식 (2)에서 회귀분석을 통하여 계수 α를 추정하고, 추정된 α는 다시 식 (3)에 대입하여 Il을 생성한다(Choi et al., 2012).

또한, GSA 융합기법의 융합계수 gi는 식 (4)을 사용하여 적용된다.

여기서 cov는 공분산, var는 분산을 의미한다. GSA융합기법은 IHS(Intensity-Hue-Saturation), Brovey 융합기법 등에 비하여 융합영상의 분광왜곡을 최소화할 수 있는 장점을 지닌다.

(2) GCAP 기법

GCAP 기법은 GSA 융합기법을 포함한 CS 기반의 융합기법의 분광왜곡현상을 최소화하기 위하여 제안된 기법이다 (Choi et al., 2012). GCAP 기법의 경우에도 식 (1)을 기반으로 하지만, 식 (1)의 고해상도 흑백영상은 식 (5)를 이용하여 다중 분광영상의 각 밴드와 히스토그램 매칭(histogram matching) 과정이 적용된 영상이 사용되며, 이를 이용하여 융합을 개별적으로 수행한다.

여기서, σ는 영상의 표준편차, 는 영상 ph의 평균값을 의미한다. 식 (5)에 의하여 생성된 밴드별 흑백영상을 식 (1)∼(2)에 적용하여 밴드별 저해상도 영상 를 계산한다. GCAP의 융합계수 gi는 식 (6), (7)로 정의할 수 있으며, Si는 와 간의 공간상관도, entropy는 해당영상의 엔트로피 값을 의미한다(Choi et al., 2012).

3.2 블록 기반의 영상 융합

ALI 흑백영상과 다중분광영상의 융합과정을 거쳐 얻어진 고해상도 다중분광 영상 와 초분광 영상 을 융합하기 위하여 다중분광 영상과 초분광 영상의 밴드 간 유사성을 고려하여 블록 기반의 융합을 수행하였다. Sylla et al.(2014)은 영상 간의 상관도(correlation)를 이용하여 분광특성이 유사한 밴드들을 블록화하였으며, 각 블록당 하나의 다중분광밴드를 페어링(pairing)하여 고해상도 흑백영상과 다중분광 영상의 관계로 변환한다. 페어링된 영상들은 MRA 기법과 같은 일반적인 영상융합 방법을 활용하여 공간해상도가 증대된다. 하지만, Sylla et al.(2014)이 제안한 기법을 융합된 ALI 영상와 초분광 영상 에 적용할 경우, 와 같은 개수의 블록이 형성되게 된다. ALI 영상의 밴드 수에 따라서 블록을 구분할 경우에는 ALI의 VNIR 영역 내 RGB 분광파장대와 같이 유사한 분광특성을 지니는 밴드들이 과도하게 분할되는 문제점이 발생할 수 있다. 따라서, 본 논문에서는 와 의 분광 특성을 활용하여 새로운 블록화과정을 제안함으로써 영상융합과정에서 발생할 수 있는 Hyperion 영상의 분광왜곡을 최소화하고자 하였다. 해당 알고리즘의 세부적인 내용은 다음과 같다.

1) 와 간의 상관도를 계산한다. 2) 유사한 상관도 값의 범위를 지니는 를 그룹화한다. 3) 그룹화한 의 파장대에 대응되는 밴드들을 통합하여 단일블록을 구성한다.

1)∼3)의 과정을 통하여 유사한 분광특성을 가지는 내의 밴드를 통합하여 다중분광영상과 초분광영상의 블록개수를 최소화시킬 수 있으며, 유사한 특성을 지니는 을 하나의 블록에 포함시킴으로서 융합결과를 최적화시키고자 하였다. 본 연구에서 사용한 실험 자료의 경우에는 총 3개의 블록으로 재구성되었으며, 초분광영상을 기준으로 하여 VNIR 파장대를 모두 포함하는 영역, SWIR 파장대에 대응되는 2개의 영역으로 분할되었다. Hyperion 영상의 전체적인 분광특성은 VNIR(430~702㎚) 및 1300㎚이상의 파장대를 가지는 SWIR이 유사한 특성을 보이며, ALI 다중분광영상에 PCT(Principle Component Transformation)을 적용한 PC2 밴드와 초분광 영상사이의 상관도를 비교하여 위와 같은 유사성을 파악할 수 있었다(Fig. 4(a)). 또한, PC1 밴드와의 상관도를 통해 702~1300㎚사이의 분광파장대들이 유사한 특성을 보임을 확인하였다 (Fig. 4(b)). 각 분할된 블록들은 고해상도 흑백영상과 다중분광 영상의 관계로 변환될 수 있기 때문에 GSA 혹은 GCAP 기법을 적용하고, 융합결과를 통합하여 최종적으로 고해상도의 초분광영상 을 산출하였다.

Fig. 4.(a) correlation between PC2 and hyperspectral bands, (b) correlation between PC1 and hyperspectral bands

 

4. 실험 결과 및 분석

블록기반의 융합기법의 효율성을 평가하기 위하여 Fig. 1의 ALI 및 Hyperion 영상에 본 논문에서 제안한 기법을 적용하였다. 블록기반의 융합기법의 핵심은 1단계로 융합된 ALI 다중분광 영상과 초분광 영상간의 최적화된 블록을 구성하는 것에 있다. 특히, 융합기법에 대한 결과의 영향도 분석하기 위하여 융합기법 및 블록 구성에 따라 총 6개의 실험 방법을 구성하여 평가하였다. 실험 방법은 Table 2와 같으며, 사용된 융합방법과 블록의 구성법에 따라서 분류하였다.

Table 2.Experimental methods

①, ④는 ALI 흑백영상을 이용하여 직접적으로 Hyperion 영상의 공간해상도를 증가시킨 경우이며, ②, ③, ⑤, ⑥은 ALI 흑백영상을 이용하여 ALI 다중분광영상의 공간해상도를 증가시키고, 2번째 단계로 블록기반의 융합을 통하여 고해상도의 초분광영상을 생성하는 방법을 의미한다. ②, ⑤는 일반적인 블록 기반 기법을 의미하며(Sylla et al., 2014), ③과 ⑥은 본 논문에서 제안한 블록생성 방법에 의한 기법이다. 한편, ①, ②, ③은 GSA 융합을 이용하여 영상 간 융합을 수행하였으며, ④, ⑤, ⑥은 GCAP기법을 이용하였다. 각 실험방법에 의하여 생성된 융합영상들은 다양한 영상융합 평가 기법들을 활용하여 공간/분광적인 왜곡을 분석하였다. 융합된 고해상도 초분광 영상의 경우에는 참조자료(reference data)가 존재하지 않기 때문에, 분광왜곡을 평가하는 경우에는 융합영상의 공간해상도를 강제적으로 조정하여 저해상도 초분광영상과 동일한 공간해상도를 가지도록 조정하여 평가를 수행하였다. 분광왜곡을 평가하는 척도는 상관도, RMSE(Root Mean Square Error), SAM(Spectral Angle Mapper)를 사용하였다 (Kim, 2014). RMSE 및 SAM, 상관도는 식 (8)∼(10)에 의하여 계산된다.

여기서, Ri는 참조자료로 사용할 원 초분광 영상의 i번째 밴드, Fi는 융합된 초분광 영상의 공간해상도를 낮추어 생성한 저해상도 초분광 영상의 i번째 밴드, n은 초분광 영상의 밴드개수, Cov는 두 영상의 공분산, Var는 분산을 의미한다. RMSE와 SAM은 값이 0에 가까울수록, Corr은 1에 가까울수록 분광왜곡이 없음을 의미한다. 공간해상도의 평가는 융합영상의 공간정보를 직접적으로 활용하였으며, 융합영상의 x, y축의 에지의 크기를 정량화하여 측정하였다. X × Y의 크기를 가지는 초분광 영상의 A.G(Average Gradient)는 식 (11)과 같다(Kim, 2014).

여기서, 는 융합영상 F의 i번째 밴드에 대한 x방향으로의 1차 미분값을 나타낸다. Fig. 5는 Table 2에 설명한 각 실험방법에 따른 융합결과를 나타내며, Table 3은 각 실험방법의 평가결과이다.

Fig. 5.Image fusion results(band composite: Red(2335㎚), Green(1488㎚), Blue(824㎚)): (a) original ALI panchromatic image, (b) original Hyperion image, (c) fused result (case ①), (d) fused result (case ②), (e) fused result (case ③), (f) fused result (case ④), (g) fused result (case ⑤), (h) fused result (case ⑥)

Table 3.Experimental results corresponding to each image fusion algorithms

Fig. 5에서 확인할 수 있는 것과 같이, GSA기법에 의한 결과(①, ②, ③)는 GCAP 기법에 의한 결과(④, ⑤, ⑥)에 비하여 낮은 공간해상도를 가지는 융합결과를 가지고 있는 것을 볼 수 있다. 또한, 블록기반의 융합을 수행하지 않은 경우(①, ④)에도 블록기반의 융합을 수행한 결과(②, ③, ⑤, ⑥)에 비하여 낮은 공간해상도를 지니는 융합결과를 나타낸다. ①, ④의 결과는 고해상도 흑백영상과의 융합과정을 거쳤음에도 불구하고, 원 저해상도 초분광 영상과 유사한 공간해상도를 가지는 것을 볼 수 있다. 이는 ①, ④의 결과가 특정파장대 구간에서 영상융합이 효과적으로 이루어지지 않았음을 의미한다. 이러한 경향은 Table 3의 A.G 값을 통해서도 확인할 수 있다. 한편, 분광왜곡의 크기를 비교할 때, 흑백영상만을 사용하여 융합한 영상이 가장 분광왜곡이 낮은 결과를 보이며, 제안한 블록 기반의 융합기법(③, ⑥)은 GSA 및 GCAP 기법 모두에서 기존의 블록기반 기법(②, ⑤)에 비하여 분광왜곡이 낮은 특성을 보인다. ③, ⑥의 공간해상도는 ②, ⑤의 공간해상도와 유사한 것을 볼 때, 제안한 블록기반의 알고리즘이 기존 블록기반의 기법에 비하여 효과적인 알고리즘임을 알 수 있다. 한편, ①, ④의 결과가 가장 분광왜곡이 적은 것은 Fig. 5에서 확인한 것과 같이, 융합이 거의 이루어지지 않았기 때문에, 이에 대한 trade-off의 결과로 원 초분광영상과 화소값의 차이가 없는 영향이며, 융합영상의 공간해상도의 개선이 미미하기 때문에 제안 기법과 비교하여 단점을 가진다고 할 수 있다.

 

5. 결 론

본 논문에서는 Hyperion 및 ALI 센서에서 취득한 위성영상을 이용한 초분광 위성영상의 융합 기법에 대한 연구를 수행하였다. ALI 센서에서 취득된 고해상도 흑백영상과 다중분광 영상을 활용하여 2단계의 융합과정을 수행하였으며, 융합된 고해상도 다중분광영상과 저해상도 초분광 영상의 융합을 위해 블록기반의 융합 기법을 제안하고, 이를 적용하였다. 융합영상의 품질은 RMSE, SAM, 상관도, A.G의 평가지수를 통하여 분석하였으며, 융합영상의 시각적인 분석도 병행하였다. 실험 결과, 본 논문에서 제안한 블록기반의 융합기법이 기존의 초분광 영상의 융합 기법과 비교하여 분광왜곡이 적게 발생하는 것을 확인하였으며, 흑백영상과 초분광 영상의 융합결과와 비교하여 효과적으로 공간해상도가 증가되는 것을 확인하였다. 향후, 연구에서는 본 논문에서 적용한 GSA 및 GCAP와 비교하여 초분광 영상의 분광왜곡을 최소화할 수 있는 융합기법을 개발하고자 한다.