RPC Correction of KOMPSAT-3A Satellite Image through Automatic Matching Point Extraction Using Unmanned AerialVehicle Imagery

무인항공기 영상 활용 자동 정합점 추출을 통한 KOMPSAT-3A 위성영상의 RPC 보정

Abstract

In order to geometrically correct high-resolution satellite imagery, the sensor modeling process that restores the geometric relationship between the satellite sensor and the ground surface at the image acquisition time is required. In general, high-resolution satellites provide RPC (Rational Polynomial Coefficient) information, but the vendor-provided RPC includes geometric distortion caused by the position and orientation of the satellite sensor. GCP (Ground Control Point) is generally used to correct the RPC errors. The representative method of acquiring GCP is field survey to obtain accurate ground coordinates. However, it is difficult to find the GCP in the satellite image due to the quality of the image, land cover change, relief displacement, etc. By using image maps acquired from various sensors as reference data, it is possible to automate the collection of GCP through the image matching algorithm. In this study, the RPC of KOMPSAT-3A satellite image was corrected through the extracted matching point using the UAV (Unmanned Aerial Vehichle) imagery. We propose a pre-porocessing method for the extraction of matching points between the UAV imagery and KOMPSAT-3A satellite image. To this end, the characteristics of matching points extracted by independently applying the SURF (Speeded-Up Robust Features) and the phase correlation, which are representative feature-based matching method and area-based matching method, respectively, were compared. The RPC adjustment parameters were calculated using the matching points extracted through each algorithm. In order to verify the performance and usability of the proposed method, it was compared with the GCP-based RPC correction result. The GCP-based method showed an improvement of correction accuracy by 2.14 pixels for the sample and 5.43 pixelsfor the line compared to the vendor-provided RPC. In the proposed method using SURF and phase correlation methods, the accuracy of sample was improved by 0.83 pixels and 1.49 pixels, and that of line wasimproved by 4.81 pixels and 5.19 pixels, respectively, compared to the vendor-provided RPC. Through the experimental results, the proposed method using the UAV imagery presented the possibility as an alternative to the GCP-based method for the RPC correction.

고해상도 위성영상의 기하보정을 위해 촬영 당시의 위성 센서와 지표면과의 기하학적 관계를 복원하는 센서모델링 과정이 필요하다. 이를 위해 일반적으로 고해상도 위성은 RPC (Rational Polynomial Coefficient) 정보를 제공하고 있지만, 제공 RPC는 위성 센서의 위치와 자세 등에 의해 발생하는 기하왜곡을 포함하고 있다. 이러한 RPC 오차를 보정하기 위해 일반적으로 지상기준점(Ground Control Points)을 활용한다. 지상기준점을 수집하는 대표적인 방법으로 현장 측량을 통해 지상좌표를 취득하지만, 이는 위성영상의 품질이나 촬영 시기에 따른 토지피복의 변화, 기복변위 등으로 위성영상 내에서 지상기준점을 판독하기에 어려운 문제가 있다. 이에 최근에는 다양한 센서로부터 취득된 영상지도를 참조자료로 이용하여, 영상정합 기법을 통해 지상기준점 수집을 자동화할 수 있다. 본 연구에서는 무인항공기 영상을 활용하여 추출된 정합점을 통해 KOMPSAT-3A 위성영상의 RPC를 보정하고자 한다. 무인항공기 영상과 KOMPSAT-3A 위성영상의 정합점 추출을 위한 전처리 방법을 제안하고, 대표적인 특징기반 정합기법(Feature-based matching method)과 영역기반 정합기법(Area-based matching method)인 SURF (Speeded-Up Robust Features)와 위상상관(Phase Correlation) 기법을 각각 적용하여 추출된 정합점의 특성을 비교하였다. 각 기법을 통해 추출된 정합점을 활용하여 RPC 보정계수를 산출한 후, GNSS (Global Navigation Satellite System) 측량을 통해 직접 취득한 검사점에 적용하여 KOMPSAT-3A의 기하품질을 향상하였다. 제안기법의 성능 및 활용성 검증을 위해 GCP를 이용하여 보정한 결과와 비교하여 분석하였다. GCP 기반 보정 방법은 제공 RPC보다 Sample은 2.14 pixel, Line은 5.43 pixel 만큼 개선된 보정 정확도를 보였다. 그리고 SURF와 위상상관 기법을 활용한 제안기법은 제공 RPC보다 각각 Sample은 0.83 pixel, 1.49 pixel만큼 보정되었으며, Line은 4.81 pixel, 5.19 pixel만큼 개선되었다. 이를 통해 GCP 기반 위성영상 RPC 보정 방법의 대안으로 무인항공기 영상이 활용될 수 있음을 확인하였다.

1. 서론

광범위한 지역에 대한 정보를 주기적으로 취득할 수 있는 위성영상을 이용한 원격탐사 기술은 오늘날 급변하는 국토에 대한 정보를 신속하고 효율적으로 취득할 수 있어 다양한 분야의 기초자료로 활용되고 있다. 전 세계적으로 위성영상의 활용적 가치를 인지하여 활용 목적에 따라 다양한 센서를 탑재한 위성이 발사 및 운용되고 있다. 그 중 지상에 대한 상세한 정보를 얻을 수 있는 고해상도 위성영상의 활용성이 높아지고 있으며, 우리나라는 전자광학카메라를 탑재한 다목적실용위성(KOMPSAT)을 가용하고 있다. KOMPSAT은 전정색 (Panchromatic) 영상을 기준으로 1호는 6.6 m, 2호 1 m, 3호 0.7 m, 3A호 0.55 m로 공간해상도가 지속적으로 향상되고 있어 고해상도 위성영상 활용 분야에 활발히 사용되고 있다. 특히, KOMPSAT-3A는 현재 운용되고 있는 KOMPSAT 위성 중 가장 높은 공간해상도의 광학센서와 세계 최초로 파장이 3.3~5.2 µm인 중적외선 센서를 탑재하여 고부가가치를 창출하는 산출물 생성을 위한 핵심데이터로 활용되고 있다.

KOMPSAT-3A 위성영상은 전처리 단계에 따라 방사 및 센서 왜곡 보정이 수행된 Level 1R과 SRTM (Shuttle Radar Topography Mission)의 DEM (Digital Elevation Model)을 이용하여 지형 왜곡까지 보정된 Level 1G로 구분되어 한국항공우주연구원에서 제공하고 있다. 그 중 Level 1R 영상은 지상기준점이 없는 경우, 기하정확도가 CE90 (Circular error of 90%) 기준 약 70 m로 보고되고 있다(Lee et al., 2017). 따라서 이를 보정하기 위해서는 위성영상 촬영 당시의 위성 센서와 지표면과의 기하학적 관계를 복원하는 센서모델링 과정이 필요하며, KOMPSAT-3A의 센서모델링은 물리적모델과 추상적 모델 및 일반적모델로 구분된다(Seo and Lee, 2005). 물리적모델은 위치 벡터를 사용하여 위성의 궤도 파라미터를 직접 계산하는 방법으로 공선조건을 활용한다. 이는 위성의 궤도 정보를 얻을 수 있는 경우에 사용할 수 있으며, 상대적으로 복잡한 계산과정이 요구된다. 반면에, cional Function Model)은 지상좌표와 영상좌표 간의 기하학적 관계 파악이 용이하여 위성의 궤도에 대한 정보를 알 수 없는 경우나 혹은 불확실한 경우에 활용된다. RFM 활용 시 사용되는 계수인 RPC (Rational Polynomial Coefficient)는 KOMPSAT-3A 위성영상과 함께 메타데이터로 제공하고 있다. 하지만, 제공 RPC는 위성 센서의 위치와 자세 등에 의해 발생하는 기하왜곡을 포함하고 있는 물리 적모델로부터 생성된 것이므로 오차를 포함하고 있다 (Ahn et al., 2014). 따라서 고해상도 위성영상의 정확도 높은 기하보정을 위해서 제공 RPC를 보정하는 과정은 필수적으로 수행되어야 한다.

일반적으로 RPC를 보정하는 대표적인 방법으로는 위성영상 내에서 판독이 용이한 지점의 영상좌표를 취득하고 GNSS (Global Navigation Satellite System) 측량을 수행하여 취득된 3차원 지상좌표를 지상기준점 데이터로 활용하여 보정한다. 하지만, 현장측량을 통해 취득한 지상기준점을 활용하는 방법은 시간 및 인력이 많이 소모되는 단점이 있으며, 위성영상의 품질이나 촬영 시기에 따른 변화, 기복변위 등으로 광범위한 지역을 포함하는 위성영상 내에서 지상기준점을 판독하기에 어려운 문제가 있다(Ahn et al., 2014). 이를 해결하기 위해, 대상 위성영상의 일부 지역에 대한 정확한 지상좌표를 포함하고 있는 다양한 부가 데이터를 활용하여 고해상도 위성영상의 기하정확도를 향상시키는 연구가 진행되고 있다. Lee and Oh (2014)는 높은 공간해상도와 기복 변위가 없다는 장점을 가진 LiDAR (Light Detection And Ranging) 데이터의 일부를 GCP 칩으로 활용하여 RPC 보정 후 KOMPSAT-2와 KOMPSAT-3 위성영상의 자동 좌표등록을 수행하였다. Shin et al. (2018)은 항공정사영상 기반의 GCP 칩을 이용하여 KOMPSAT-3A 전정색 영상, 다중분광 영상, 융합 영상과의 조합에 대해 영상 정합률을 비교하는 연구를 수행하였고, Jung et al. (2020) 은 PlanetScope 정사영상을 활용하여 KOMPSAT-3와 KOMPSAT-3A 영상과의 정합점(Matching points)을 지상기준점으로 사용하는 기하보정 방법을 제안하였다. 하지만 LiDAR 데이터의 경우 데이터의 특성상 대용량이기 때문에 데이터를 다루는 데 어려움이 있다. 항공영상은 비행 비용이 높고, 소규모 지역에 대한 촬영 시 경제성이 떨어진다. 그리고 이종 위성영상을 활용하여 센서 모델을 수행할 경우, 궤도가 동일하고 영상의 기하가 유사해야 한다(Choi and Kang, 2012).

무인항공기는 선행 연구들에서 활용된 다양한 부가 데이터들과 비교하여 사용자가 원하는 시기의 데이터를 상대적으로 간단하고 신속하게 cm 급의 고해상도 영상을 취득할 수 있다. 또한, 무인항공기를 통해 생성된 정사영상 및 DSM (Digital Surface Model)은 수직의 촬영 각으로 인해 기복변위가 거의 없으며, 일반적으로 소규모 지역에 대한 신속한 GNSS 측량을 통해 높은 기하정 확도를 포함하고 있다. 이러한 무인항공기 영상의 장점을 위성영상에 적용한 연구로, Yuan et al. (2020)은 무인 항공기 영상을 활용하여 사전 훈련된 VGG16 모델의 특징정보를 추출해 Google 맵과의 영상등록을 수행하였다.

본 연구는 KOMPSAT-3A 위성영상의 RPC 보정을 위해 필요한 지상기준점 데이터를 무인항공기 영상으로부터 취득할 수 있는 방법을 제안한다. 이를 위해 무인 항공기 영상과 KOMPSAT-3A 위성영상의 공간해상도 및 기하차이를 극복하기 위한 전처리 방법을 제안하고, 자동 정합점 추출 기법을 통해 정합점을 추출한다. 추출된 정합점을 통해 영상 특성에 따른 두 기법의 차이를 분석하고, 제공 RPC의 오차를 보정하여 KOMPSAT3A 위성영상의 기하품질을 개선한다. 정확도 평가를 위해 GNSS 측량을 통해 직접 취득한 검사점을 활용하여 기존의 GCP 기반 보정 방법과의 비교를 통해 제안기법의 성능 및 활용성을 확인하고자 한다.

2. 실험데이터

1) 무인항공기 영상

본 연구에서는 DJI 사의 Inspire-2 회전익 무인항공기에 Zenmuse X4S 광학센서를 탑재하여 총 다섯 지역에 대한 무인항공기 영상을 취득하였다. 연구에 사용한 무인항공기 및 센서의 제원은 Table 1과 같이 정리하였으며, 최대 고도 2,500 m, X4S 센서 탑재 시 27분의 비행이 가능하여 소규모 지역에 대한 안정적인 영상 데이터를 제공한다. 5장의 무인항공기 영상은 고도 100 m, 종· 횡중복도 80%의 동일한 촬영조건으로 설정하여 취득하였다. 또한, 기하품질이 우수한 무인항공기 정사영상 및 DSM을 생성하기 위해 Table 2의 GNSS 수신기를 이용하여 VRS (Virtual Reference Station) 방식의 측량을 수행하여 정밀지상좌표를 취득하였다. GNSS 측량을 통해 취득된 지상기준점 데이터의 일부를 검사점으로 활용하여 무인항공기 영상의 정확도를 계산하였다(Table 3). Fig. 1은 무인항공기를 통해 생성된 정사영상과 DSM 이며, 전반적으로 고도의 편차가 심하지 않은 지역에 대한 데이터를 취득하였다. Site 1의 피복은 영상 중앙의 수계지역을 중심으로 상부 지역이 건물로 밀집하여 있으며, 하부 지역은 농경지로 구성되어있다. Site 2는 주변이 호수로 이루어진 섬 형태의 공원으로 대부분 수목과 도로를 포함하고 있다. Site 3, 4, 5는 일부 비닐하우스와 같은 인공구조물을 포함하고 있으며, 일정 구획으로 구분되어있는 농경지역이다.

Table 1. Specification of the UAV and sensor

Table 2. Specification of the GNSS receiver

Table 3. Specification of acquired UAV data

Fig. 1. UAV Orthophoto and DSM: (a) Site 1 (b) Site 2 (c) Site 3 (d) Site 4 (e) Site 5.

2) KOMPSAT-3A위성영상

고해상도 위성영상의 기하정확도 향상을 목적으로 본 연구에서는 지형왜곡에 대한 보정없이 방사보정과 센서왜곡보정만 수행된 KOMPSAT-3A의 Level 1R 전정색 영상을 사용하였다. 무인항공기 영상과의 비교를 위해 KOMPSAT-3A의 촬영시기, GSD (Ground Sample Distance), 그리고 촬영각 등과 같은 자세한 제원은 Table 4와 같다. 위성영상 내 다섯 지역에 대해 취득한 무인항공기 영상의 분포와 본 연구에서 제안하는 방법의 정확도 및 성능 평가를 위해 취득한 지상기준점의 위치를 중첩하여 Fig. 2에 나타내었다. 지상기준점은 위성영상에서 명확하게 식별할 수 있는 지점에 대해 GNSS 측량을 수행하여 총 20점을 취득하였다. 그 중 13점은 정확도 평가를 위한 검사점으로 사용하였으며, 나머지 7점은 RPC 보정에 일반적으로 사용되는 현장측량을 통해 취득된 GCP를 이용하여 보정하는 방법으로 활용하였다.

Table 4. Specification of tested KOMPSAT-3A data

Fig. 2. UAV imagery and ground control points location acquired through GNSS surveying in KOMPSAT- 3A (Red: Checkpoints, Green: Ground control points).

3. 연구방법

본 연구는 무인항공기 영상과 고해상도 위성영상 간에 추출된 정합점을 활용하여 위성영상의 RPC를 보정하기 위해 Fig. 3과 같은 흐름으로 연구를 진행하고자 한다. 이를 위한 두 영상의 전처리 과정으로 먼저, 무인항공기의 정상영상과 DSM, 그리고 위성영상의 RPC 정보를 활용하여 무인항공기 영상과 KOMPSAT-3A 위성영상 간의 중첩영역을 탐지하고, KOMPSAT-3A 위성영상의 공간해상도를 참조하여 두 영상의 공간해상도를 통일시켜준다. 이후, 무인항공기 영상과 위성영상 간 기하특성을 설명하는 어핀변환모델(Affine transformation model)을 구성하여 위성영상의 공간변환을 통해 실험대상영상을 생성한다. 또한, 본 연구에서는 특징기반 자동정합기법인 SURF 알고리즘과 영역기반 정합기법인 위상상관 기법을 개별적으로 적용하여 정합점을 추출하고, RANSAC (Random Sample Consensus) 알고리즘을 통해 오정합점을 제거한 후, RPC 조정계수를 산출한다. 산출된 RPC 조정계수를 통해 보정된 RPC의 정확도 평가를 위해서 GNSS 측량을 통해 위성영상 내 고르게 취득한 검사점을 이용하였다.

Fig. 3. Flow chart of this study.

1) 전처리 과정

무인항공기 영상과 KOMPSAT-3A 위성영상 간 정합점 추출을 위해 두 영상의 중첩영역을 선정하는 과정을 수행하였다. 이를 위해 무인항공기 영상의 최대 영역을 탐색한 후, 최대 영역의 4점(좌상단, 우상단, 좌하단, 우하단)과 중앙의 1점을 선정한다. 이후, 최대 영역 및 중앙지점을 나타내는 5점에 대한 3차원 지상좌표를 무인 항공기 정사영상의 메타데이터와 DSM을 활용하여 추정한다. 그리고 추정된 5점의 3차원 지상좌표와 KOMPSAT-3A의 RPC 정보를 Eq. (1)과 같이 활용하여 KOMPSAT-3A 영상좌표로 변환하여 두 영상 간 중첩된 영역을 선정한다.

\(\begin{aligned} &r_{n}=\frac{P_{1}\left(X_{n}, Y_{n}, Z_{n}\right)}{P_{2}\left(X_{n}, Y_{n}, Z_{n}\right)} \\ \\&c_{n}=\frac{P_{3}\left(X_{n}, Y_{n}, Z_{n}\right)}{P_{4}\left(X_{n}, Y_{n}, Z_{n}\right)} \end{aligned}\)       (1)

Where r_n and c_n are the normalized row and column of pixels in image space, X_n, Y_n, and Z_n are the normalized coordinate values of object points in ground space, and P₁, P₂, P₃, and P₄ are polynomial coefficients comprising RFM.

중첩된 영역을 기반으로 영상 간의 정합점 추출이 가능하지만, 정합점 추출 시 두 영상의 공간해상도와 기하특성이 상이하여 고품질의 정합점 추출에 한계가 있으며, 오정합점이 추출될 가능성이 높아진다. 따라서 본 연구에서는 KOMPSAT-3A 영상의 스케일을 기준으로 무인항공기 영상의 스케일을 동일하게 조정한다. 그리고 앞서 선정된 무인항공기 영상의 5점에 대해 어핀변환모델을 구성하여 KOMPSAT-3A 영상의 공간변환 수행한다. 이와 같이 두 영상의 공간해상도 및 기하 차이로 인한 오류를 최소화하는 전처리 과정을 수행하여 정합점 추출 성능을 향상시키기 위한 실험대상영상을 생 성한다.

2) 자동 정합점 추출

영상등록(Image registration)은 영상 간의 정합점을 추출한 다음 변환모델을 구성하여 영상 간의 상대적인 기하 오차를 제거하는 방법이다. 영상등록을 위해 정밀한 정합점 추출은 핵심적인 과정으로, 취득 시 시간 및 인력 소모가 큰 지상기준점을 활용하지 않고 자동으로 영상 간의 상대적인 기하 오차를 제거하는 방법의 필요성이 강조되고 있다(Aicardi et al., 2016). 자동으로 정합점을 추출하는 기법으로는 크게 특징기반 기법과 영역 기반 기법 두 가지로 구분된다(Hong and Zhang, 2007). 특징기반 정합기법은 영상 전체 영역에 대해 강한 특성을 보이는 점, 선, 면과 같은 다양한 수준에서 특징요소를 특징점으로 추출한다(Zitova and Flusser, 2003). 특징 기반 정합 기법은 정합점 추출을 하는 데 있어 영상 간 기하오차 및 왜곡으로 인한 영향에 강인한 장점이 있지만, 영상 내 특징요소가 존재하지 않는 경우 정합점 추출에 어려움이 있다(Ma et al., 2015). 반면에, 영역기반 정합기법은 영상 내 일정 크기의 영역을 설정하고, 기준영상과의 유사도 분석을 수행하여 유사도가 가장 높은 영역의 중심을 정합점으로 추출한다(Bentoutou et al., 2005). 따라서 영상 내에 특징요소가 존재하지 않아도 정합점 추출이 가능하지만, 두 영상 간의 초기 기하오차가 큰 경우 정합점 추출에 어려움이 있다(Chen et al., 2003). 이 처럼 두 정합기법은 서로 다른 장단점이 존재하므로, 본 연구에서는 각 정합기법을 적용하여 고해상도 위성영상의 RPC 보정에 적합한 기법을 분석하고자 한다. 이에 특징기반 정합기법은 SURF를 활용하며, 영역기반 정합기법은 위상상관 기법을 활용한다.

SURF는 Bay et al.(2008)이 제안한 방법으로 특징점 추출, 주방향 할당(Orientation assignment), 그리고 특징점 서술(Description)의 과정을 수행한다. 먼저, 계산 시 간을 단축하기 위한 적분영상을 생성하고, 특징점 추출을 위해 Eq. (2)와 같이 정의된 헤이시안 행렬과의 회선 을 통해 가우시안 2차 미분을 수행한다. 여기서 헤이시안 행렬은 이산화로 인해 정보손실이 발생하므로 재현율이 감소하는 문제가 발생한다. 따라서 SURF는 근사화된 헤이시안 박스 필터를 사용하여 가우시안 2차 미분을 영상에 적용하면서 발생하는 정보손실을 최소화하고, 계산 과정을 단순화하고, 계산된 값이 최대가 되는 지점을 특징점으로 추출한다. 이후, 특징점을 중심으로 Haar-wavelet 필터를 통해 주변 화소값을 이용하여 원형의 벡터 공간을 생성하고, 벡터 성분들의 크기를 비교하여 주방향을 결정한다. 그리고 영상의 회전이나 스케일의 변화에도 불변하는 서술자를 얻기 위해 앞서 선정된 주방향을 기준으로 정사각형 영역을 구성하고 수평, 수직 방향에 대한 누적 강도 값을 산출하여 64차원의 서술벡터를 생성한다. 이렇게 서술된 특징점 간의 유사도가 높은 특징점을 정합점으로 추출한다.

\(H(X, \sigma)=\left[\frac{L_{x x}(X, \sigma) L_{x y}(X, \sigma)}{L_{x y}(X, \sigma) L_{y y}(X, \sigma)}\right]\)       (2)

Where X represents the location (x, y) of a given point in the integral image, H(X, σ) is the Hessian matrix with scale σat X. L_xx(X, σ), L_xy(X, σ) and L_yy(X, σ) is the convolution of the Gaussian second derivative about location xx, xy, yy.

위상상관 기법은 일반적으로 고속 푸리에 변환(Fast Fourier Transform)으로 계산되는 데이터의 주파수 영역으로 표현되며, 위상 정보만을 활용함으로써 영상 간 유사도를 나타내는 지점에 대한 첨도가 높아 위치를 정밀하게 찾을 수 있다. 위상상관 기법을 이용한 방법은 영상 간의 변위, 회전, 그리고 축척을 추출할 수 있지만, 본 연구에서는 앞선 전처리 과정을 통해 두 영상이 유사한 기하적 특성이 나타나므로 정합점 사이의 변위량만 고려하여 정합을 수행한다. 일정한 영역을 설정하고 이 영역에 대해 Eq. (3)과 같이 이산 2차원 푸리에 변환을 수행하고, 이를 정규화한 다음 2차원 푸리에 역변환을 취하여 위상상관도가 가장 높은 지점을 도출한다(Han and Choi, 2015).

\(C=F^{-1}\left(\frac{F\left(I_{2}(x, y)\right)}{\left|F\left(I_{1}(x, y)\right)\right|}\right)\)       (3)

where I₁(x, y) and I₂(x, y) represent window images, F and F^–1 are 2D Fourier transformation and 2D inverse Fourier transformation, C is Phase Correlation that can obtain the normalized cross-correlation by applying the inverse Fourier transform.

SURF와 위상상관 기법을 통해 추출된 정합점은 위치가 일치하지 않는 오정합점이 존재하므로 이를 제거 하는 과정이 필수적이다. 이에 본 연구에서는 오정합점을 제거하기 위해 대표적인 정합점 모델추정 기법인 RANSAC 알고리즘을 사용하였다(Fischler and Bolles, 1981). RANSAC은 노이즈가 심한 원본 데이터로부터 적절한 매개변수를 예측하는 방법으로 변환행렬을 사용하여 오정합점을 제거한다. 본 연구에서는 앞서 SURF와 위상상관 기법을 통해 추출된 정합점들을 무작위로 샘플링하여 어핀변환행렬을 생성하고 이를 반복적으로 수행하여 오정합점이 제거된 최종 정합점을 획득한다.

3) RPC보정

SURF와 위상상관 기법을 통해 추출된 최종 정합점은 전처리 과정을 통해 특성이 변화된 영상의 좌표이므로, RPC 보정을 위해 활용하기에 적합하지 않다. 따라서 전처리 과정에서 조정되었던 스케일을 복원시켜 무인항공기로부터 추출된 정합점은 무인항공기의 영상 좌표로 복원한다. 또한, 실험대상영상으로부터 추출된 정합점은 어핀 역변환을 통해 원위성영상의 영상좌표로 복원한다. 이후 무인항공기의 영상좌표를 지상좌표로 변환하고 RPC 정보를 활용하여 원위성영상의 좌표로 변환하는 과정을 수행한다. 이 과정에서 지상좌표와 영상좌표 간의 관계를 나타내기 위해 RPC가 사용되며, Grodecki and Dial (2003)이 제안한 블록조정식을 기반으로 보정한다. 사용된 블록조정식은 Eq. (4)와 같이 정의되며, Line과 Sample은 영상좌표 row와 column을 표현한 것이다. 블록조정식의 보정계수항을 나타내는 Eq. (5)는 어핀 기반의 변환식으로 정의된다. Eq. (5)의 계수는 Line과 Sample에 대해 궤도, 센서의 자세 및 내부표정 요소의 잔차 등의 영향으로 발생한 오차를 보정한다. 다항식에 대한 계수는 40개(a₀~a₂₀, b₀~b₂₀)이지만, 일반적으로 a0와 b0만으로도 높은 정확도로 RPC 보정이 가능하다(Grodecki and Dial, 2003; Fraser and Hanley, 2005). 따라서 본 연구에서는 RPC 보정계수 중 a₀와 b₀만 산출하여 위성영상의 RPC를 보정한다.

\(\begin{gathered} L_{i}=\text { line }_{i}+\Delta \text { line }_{i}+v_{l} \\ S_{i}=\text { sample }_{i}+\Delta \text { sample }_{i}+v_{s_{i}} \end{gathered}\)       (4)

\(\begin{gathered} \Delta \text { line }_{i}=a_{0}+a_{l} \bullet \text { line }_{i}+a_{s} \bullet \text { sample }_{i}+a_{s l} \bullet \text { sample }_{i} \\ \bullet \text { line }_{i}+a_{l 2} \bullet \text { line }_{i}^{2}+a_{s 2} \bullet \text { sample }_{i}^{2}+\ldots \\ \Delta \text { Sample }_{i}=b_{0}+b_{1} \cdot \text { line }_{i}+b_{s} \bullet \text { sample }+b_{s l} \bullet \text { sample }_{i} \\ \cdot \operatorname{line}_{i}+b_{12} \bullet \text { line }_{i}^{2}+b_{s 2} \cdot \text { sample }_{i}^{2}+\ldots \end{gathered}\)       (5)

Where L_i and S_i are line (row) and sample (column) coordinates of satellite image matching points, lineiand sampleiare line and sample coordinates of UAV imagery matching points, Δline_i and Δsample_i are RPC adjustment factors, \(v_{l_{i}}\)and \(v_{s_{i}}\)are random unobservable errors, and a₀, a_l, a_s, … and b₀, b_l, b_s, … are the adjustment parameters.

4. 실험 결과 및 분석

본 연구에서는 무인항공기 영상을 활용하여 KOMP SAT-3A 위성영상의 정합점 추출을 위한 스케일 조정 및 어핀변환을 이용한 공간변환과 같은 전처리 과정을 수행하였다. Fig. 4는 전처리 수행 전후 영상에 대한 시각적 비교를 보여준다. 제안된 전처리 방법을 통해 생성된 영상은 스케일이 조정된 무인항공기 영상과 시각적으로 유사한 것을 알 수 있다. 전처리 과정의 목적은 원영상의 기하오차를 개선하는 과정이라기 보다는 무인항공기 영상과의 정합점 추출 성능을 향상시키기 위한 것이다. 전처리된 영상은 KOMPSAT-3A 위성영상과의 정합점을 추출하는 과정에서 실험대상영상으로 이용되고, 이를 다시 원영상 상의 위치로 변환하는 과정을 수행하였다.

Fig. 4. Comparison of pre-processing results: (a) Upscaled UAV image (b) Raw satellite image (c) Pre-processed satellite image.

전처리 과정을 수행하여 생성된 실험대상영상에 대해 SURF와 위상상관 기법을 각각 적용하여 두 영상 간 정합점을 추출하고, RANSAC 알고리즘을 통해 오정합점을 제거하였다. 먼저, SURF 기법은 Fig. 5와 같이 최종 정합점이 추출되었다. Site 1 영상 4개, Site 2 영상 5개, Site 3 영상에서 6개의 정합점이 추출되었다. Site 1과 2 영상에서 추출된 정합점은 영상에 고루 분포하는 것을 알 수 있으며, Site 3 영상에서 가장 많은 정합점이 추출되었다. 하지만, Site 3 영상으로부터 추출된 정합점은 영상 중앙부의 일부 영역에 국한되는 결과를 보였다. 또한, Site 4 와 5 영상은 특징점은 추출되었으나, 최종 정합점을 추출하지 못하였다. 이는 Site 4와 5 영상의 실험지역 및 SURF 기법의 특성으로 인한 결과로 볼 수 있다. Site 4와 5 영상은 유사한 특성을 가진 농경지 구획이 반복적으로 구성되어있어 SURF 기법을 통해 추출된 특징점의 서술자 특성이 모두 유사하게 생성된다. 이로 인해 정합점 추출 시 지역적으로 일치하지 않는 특징점이 정합점으로 추출되며, 이는 모두 오정합점으로 간주되어 RANSAC 알고리즘을 통해 제거되었다. 이를 통해 농경지 및 산림 지역과 같이 영상 내 유사한 특성을 보이는 요소가 반복되는 영상의 경우 전체 영역에 대해 정합점을 추출하는데 있어 SURF 기법이 한계가 있음을 알 수 있다.

Fig. 5. Matching points location extracted using SURF: (a) Site 1 (b) Site 2 (c) Site 3 (d) Site 4 (e) Site 5 (left: UAV, right: KOMPSAT-3A).

이어서 위상상관 기법을 활용하여 정합점을 추출하기 위해 본 연구에서는 100×100 크기의 영역을 설정하였다. 각 영상 간 대응되는 영역을 중심으로 정합점을 추출한 후, RANSAC 알고리즘을 적용하여 오정합점을 제거하였으며, 최종 정합점은 Fig. 6과 같다. Site 1 영상 6개, Site 2 영상 7개, Site 3 영상 6개, Site 4 영상 9개, Site 5 영상에서 11개의 정합점이 추출되었다. SURF 기법에 비해 추출된 정합점의 개수가 많고, 정합점이 영상에 고르게 분포하는 것을 알 수 있다. 또한, 위상상관 기법은 SURF 기법에서는 추출되지 않은 Site 4와 5 영상에서도 안정적으로 정합점을 추출하였다. 이는 일정한 크기의 영역을 기반으로 영상 간 위상상관도 분석을 통해 정합점으로 추출하는 방식으로 인해 전체 영상 내에 명확한 공간특성이 없는 영역에서도 효과적으로 정합점 추출이 가능한 것을 확인할 수 있다.

Fig. 6. Matching point location extracted using PC: (a) Site 1 (b) Site 2 (c) Site 3 (d) Site 4 (e) Site 5 (left: UAV, right: KOMPSAT-3A).

SURF와 위상상관 기법을 통해 추출된 정합점의 변위만을 고려하여 RPC 보정계수를 산출하였으며, 이를 각 검사점에 적용하여 보정 정확도를 산출하였다. 그리고 RPC를 보정한 결과에 대한 정확도 및 성능 평가를 위해 제공 RPC와 GCP 기반 보정 방법과의 정확도를 비교 분석하였다. 먼저, 각 검사점에 대한 오차를 산출하 여 Fig. 7과 같이 그래프로 나타내었다. SURF 기법에 비해 위상상관 기법의 결과가 더 좋은 것을 알 수 있으며, 이를 정량적으로 분석하기 위해 각 검사점에 대한 오차를 Table 5와 같이 산출하였다. 전반적으로 제공 RPC 의 Line 오차가 Sample 오차보다 크게 나타났으며, 본 연구를 위해 활용된 방법들의 결과도 비슷한 경향이 나타났다. 그리고 각 방법에 대해 가장 큰 오차를 포함하는 검사점과 오차를 확인하였다. 제공 RPC의 Sample 오차는 12번 검사점에서 4.12 pixel, Line 오차는 1번 검사점 에서 11.66 pixel로 산출되었다. GCP 기반 보정 방법의 Sample 오차는 4번 검사점에서 -2.23 pixel, Line 오차는 1번 검사점에서 5.77 pixel로 산출되었다. SURF 기법의 Sample 오차는 12번 검사점에서 3.26 pixel, Line 오차는 1번 검사점에서 6.52 pixel로 산출되었다. 그리고 위상상관 기법의 Sample 오차는 4번 검사점에서 -3.29 pixel, Line 오차는 1번 검사점에서 6.06 pixel로 산출되었다. Line 오차는 모든 방법에서 1번 검사점의 오차가 가장 크게 나타났다. 그러나, Sample 오차는 제공 RPC와 SURF 기법은 12번 검사점, GCP 기반 보정 방법과 위상상관 기법은 4번 검사점에 대해서 가장 큰 오차가 나타났다.

Fig. 7. Graph-based displacement error comparison of each correction method: (a) GCP-based correction (b) Proposed method using SURF (c) Proposed method using PC.

Table 5. Displacement error comparison of each correction method based on checkpoints (unit: pixel)

또한, 각 방법을 통해 보정된 검사점에서 산출한 오차를 Table 6과 같이 RMSE (Root Mean Square Error)로 나타내어 추가적인 분석을 수행하였다. 제공 RPC를 활용한 방법은 Sample 및 Line에 대해 각각 2.95 pixel, 8.34 pixel로 산출되었다. GCP 기반 보정 방법은 0.81 pixel, 2.91 pixel로 산출되었으며, 제공 RCP 방법보다 Sample 은 2.14 pixel, Line은 5.43 pixel 만큼 개선된 보정 정확도를 보였다. SURF 및 위상상관 기법의 Sample에 대한 보정 정확도는 2.12 pixel, 1.46 pixel로 나타났으며, Line에 대한 보정 정확도는 3.53 pixel, 3.15 pixel의 오차를 보였다. 제공 RPC를 활용한 방법보다 각각 Sample은 0.83 pixel, 1.49 pixel 만큼 보정되었으며, Line은 4.81 pixel, 5.19 pixel 만큼 개선되었다. SURF 기법보다 위상상관 기법을 활용한 방법이 Sample과 Line 모두 높은 보정 정확도가 나타나는 것을 알 수 있었다. 이는 SURF 기법은 Site 4와 5 영상이 생략되어 사용된 무인항공기 영상의 수가 위상상관 기법에 비해 적고, 따라서 위성영상에 고루 분포하지 못해 RPC 보정에 영향을 준 것으로 판단된다. 그리고 SURF와 위상상관 기법을 활용한 제안기법의 정확도는 GCP 기반 보정 방법에 비해 Sample과 Line 정확도 모두 낮게 산출되었다. Oh, et al. (2010)는 높이 값이 RPC 정보를 이용한 영상좌표와 지상좌표 간의 변환을 수행하는 데 있어 영향을 미칠 수 있다고 언급하고 있다. 하지만 본 연구에서 사용된 무인항공기 영상의 Z값에 대한 오차가 X와 Y값에 비해 크게 산출되었다(Table 3). 따라서 무인항공기 영상이 포함하는 Z값에 대한 오차가 RPC 보정 정확도에 영향을 준 것으로 판단된다. 또한, 무인 항공기 영상마다 추출된 정합점의 수가 상이하고, 위성 영상에 비해 소규모 지역을 포함하는 한 장의 무인항공기 영상에서 여러 개의 정합점을 이용하여 전체 위성영상을 보정하므로 해당 영역에 대해 편향된 보정계수가 산출된 것으로 판단된다.

Table 6. Overall accuracy assessment result (unit: pixel)

4. 결론

본 연구에서는 무인항공기 영상을 활용하여 KOMP SAT-3A 위성영상의 RPC를 보정하고자 하였다. 무인항공기 영상과 위성영상 간의 기하 차이 및 공간해상도의 차이로 인해 과도한 오정합점이 추출되는 문제를 극복하기 위한 전처리 과정을 수행한 후, SURF와 위상상관 기법을 개별적으로 적용하여 추출된 정합점을 기반으로 KOMPSAT-3A 위성영상의 RPC 보정을 수행하였다. 각 기법의 정확도 및 성능 평가를 위해 GNSS 측량을 통해 취득된 검사점 일부를 GCP로 활용하였다. 실험 결과, SURF 기법보다 위상상관 기법을 활용하였을 때 높은 정확도를 나타내었다. 본 연구지역의 경우 대부분 농 경지역으로 영상의 특징요소가 부족하였다. 따라서 영상의 특성 및 환경적 요인에 영향을 많이 받는 SURF 기법보다 영상 특성에 관계없이 안정적으로 정합점을 추출하는 위상상관 기법의 결과가 우수하게 나타난 것으로 사료된다.

연구를 통해서 무인항공기 기반 위성영상의 RPC 보정 가능성을 확인하였지만, 위성영상에 비해 현저히 작은 면적을 포함하고 있는 무인항공기 영상에서 여러 개의 정합점을 추출하여 해당 영역에 대한 편향된 보정이 이루어지는 문제가 발생하였다. 향후 연구에서는 무인항공기 영상마다 추출된 정합점 중 가장 강인한 한 점을 추출하여 일부 영역에 대해 RPC 보정계수의 왜곡이 발생하는 문제를 개선할 예정이다. 또한, 지형적 변이가 두드러지며, 위성영상 내 무인항공기 영상이 고루 분포하는 지역을 선정하고, 이에 대한 추가적인 무인항공기 데이터를 확보하여 KOMPSAT-3A의 RPC 보정을 위한 무인항공기 영상의 활용성을 높일 예정이다.