Accuracy Assessment of Land-Use Land-Cover Classification Using Semantic Segmentation-Based Deep Learning Model and RapidEye Imagery

RapidEye 위성영상과 Semantic Segmentation 기반 딥러닝 모델을 이용한 토지피복분류의 정확도 평가

Abstract

The purpose of this study was to construct land cover maps using a deep learning model and to select the optimal deep learning model for land cover classification by adjusting the dataset such as input image size and Stride application. Two types of deep learning models, the U-net model and the DeeplabV3+ model with an Encoder-Decoder network, were utilized. Also, the combination of the two deep learning models, which is an Ensemble model, was used in this study. The dataset utilized RapidEye satellite images as input images and the label images used Raster images based on the six categories of the land use of Intergovernmental Panel on Climate Change as true value. This study focused on the problem of the quality improvement of the dataset to enhance the accuracy of deep learning model and constructed twelve land cover maps using the combination of three deep learning models (U-net, DeeplabV3+, and Ensemble), two input image sizes (64 × 64 pixel and 256 × 256 pixel), and two Stride application rates (50% and 100%). The evaluation of the accuracy of the label images and the deep learning-based land cover maps showed that the U-net and DeeplabV3+ models had high accuracy, with overall accuracy values of approximately 87.9% and 89.8%, and kappa coefficients of over 72%. In addition, applying the Ensemble and Stride to the deep learning models resulted in a maximum increase of approximately 3% in accuracy and an improvement in the issue of boundary inconsistency, which is a problem associated with Semantic Segmentation based deep learning models.

본 연구는 딥러닝 모델(deep learning model)을 활용하여 토지피복분류를 수행하였으며 입력 이미지의 크기, Stride 적용 등 데이터세트(dataset)의 조절을 통해 토지피복분류를 위한 최적의 딥러닝 모델 선정을 목적으로 하였다. 적용한 딥러닝 모델은 3종류로 Encoder-Decoder 구조를 가진 U-net과 DeeplabV3+, 두 가지 모델을 결합한 앙상블(Ensemble) 모델을 활용하였다. 데이터세트는 RapidEye 위성영상을 입력영상으로, 라벨(label) 이미지는 Intergovernmental Panel on Climate Change 토지이용의 6가지 범주에 따라 구축한 Raster 이미지를 참값으로 활용하였다. 딥러닝 모델의 정확도 향상을 위해 데이터세트의 질적 향상 문제에 대해 주목하였으며 딥러닝 모델(U-net, DeeplabV3+, Ensemble), 입력 이미지 크기(64 × 64 pixel, 256 × 256 pixel), Stride 적용(50%, 100%) 조합을 통해 12가지 토지피복도를 구축하였다. 라벨 이미지와 딥러닝 모델 기반의 토지피복도의 정합성 평가결과, U-net과 DeeplabV3+ 모델의 전체 정확도는 각각 최대 약 87.9%와 89.8%, kappa 계수는 모두 약 72% 이상으로 높은 정확도를 보였으며, 64 × 64 pixel 크기의 데이터세트를 활용한 U-net 모델의 정확도가 가장 높았다. 또한 딥러닝 모델에 앙상블 및 Stride를 적용한 결과, 최대 약 3% 정확도가 상승하였으며 Semantic Segmentation 기반 딥러닝 모델의 단점인 경계간의 불일치가 개선됨을 확인하였다.

1. 서론

효율적인 산림 관리를 위해서는 산림자원정보 구축과 장기적인산림자원모니터링방안수립이필수적이며, 매크로 단위의 지역의 정보를 주기적으로 획득할 수 있는 원격탐사 기술은 산림자원을 모니터링 하는데 중요한 요소이다(Zhang et al., 2017; Santos et al., 2019).

산림분야에서 원격탐사 기술을 활용하여 산림탄소량 추정, 토지피복변화 탐지와 같은 연구가 활발히 진행되고 있으며, 특히 토지피복변화 모니터링에 관한 키워드는 지속가능한 발전(sustainable development)을 위한 행동강령인 UN 아젠다 21의 주요 주제이기 때문에 이에 대한 연구가 활발히 진행되고 있다(National Research Council, 2002).

원격탐사자료를 활용한 토지피복변화 연구는 과거 픽셀기반 또는 객체기반 탐지 방법이 활용되어 왔다(Im et al., 2009; Gärtner et al., 2014). 픽셀 기반 분류방법은 영상의 화소값을 분석하여 분류하는 기법으로, 동일한 범주 내에서 화소값의 변동이 발생할 경우 분류정확도가 낮아지는 한계를 가지고 있다. 객체기반 분류방법은 기하학적·공간적으로 동일한 속성을 갖는 인접한 화소를 객체로 구분하여 분류하는 기법으로, 기존 픽셀 기반 분류방법에서 화소의 공간적 맥락이 고려되지 않는 문제를 해결하기 위한 대안으로 활용되었다(Liu and Xia, 2010; Schöpfer et al., 2010). 한편, Basu et al. (2015)은 객체 기반 분류방법에서도 분류의 한계점이 존재한다고 지적하였으며, 정확도 높고 빠른 갱신주기를 가지는 토지 피복도 구축을 위해서는 고도화된 방법이 필요하다고 제안하고 있다. 이에 따라 최근 기계학습, 딥러닝 기술과 같은 artificial intelligence 기술을 적용한 연구가 진행되고 있다. 특히, 딥러닝 기반의 토지피복 연구는 LeCun et al. (1989)이 convolutional neural network (CNN)를 이용한 영상분류기법을 소개한 이후, 기존 분류 알고리즘에 비해 높은 정확도를 보이고 있어 딥러닝 모델을 활용한 토지피복분류 연구가 활발히 진행되고 있다.

딥러닝 모델을 활용한 영상분류 연구는 Classification, Localization, Segmentation으로 구분되어 적용되고 있다. Classification은 이미지를 보고 해당 이미지가 어떤 것이지 분류하는 문제라면, Localization은 이미지 안에 어떤 것이 있는지 찾아내고 어느 위치에 있는지 찾아내는 (Detection)것에 주안점이 있다. Segmentation은 Detection 보다 더 세밀하게 이미지의 픽셀단위로 찾아내고 분류하는 방법으로 객체분리의 유무에 따라 Semantic Segmentation과 Instance Segmentation으로 구분된다(Garcia-Garcia et al., 2017). 특히, 토지피복분류 연구에서는 이미지 내에서 다양한 객체를 동시에 분할하고 분류하는 기능을 가진 Semantic Segmentation 기반의 딥러닝 모델이 다수 활용되고 있다.

한편, 국가 온실가스통계 구축을 위해서는 Intergovernmental Panel on Climate Change (IPCC)에서 제시하고 있는 통계산출 방법에 따라 토지이용변화 통계 산출이 필요하며, 통계방법은 Approach 1부터 Approach 3으로 구분된다. 특히, 공간적 접근방법(Approach 3)은 sampling 방법과 Wall-to-Wall 방법을 제시하고 있다. Sampling 방법은 일정 간격의 표본조사를 통해 토지피복 면적을 산출하는 방법이며, Wall-to-Wall 방법은 공간 단위로 토지피복 면적을 산출하는 방법이다. 두 방법 중 Wall-to-Wall 방법이 공간적인 측면에서 정확한 면적 산정이 가능하기 때문에 고도화된 산림 인벤토리(inventory) 산정에 효과적이며, Semantic Sgmentation 모델이 Wall-to-Wall 방법에 해당된다(Park et al., 2018).

Semantic Segmentation 기반의 딥러닝 모델은 대표적으로 U-net, DeeplabV3+, fully convolution network (FCN), Segnet, pyramid scene parsing network (PSPnet) 등이 있으며, Encoder-Decoder network의 형태로 구성된다. Encoder-Decoder network는 입력자료를 압축하여 정보를 요약하는 Encoder와 Encoder가 압축하여 넘겨준 정보를 반환하는 Decoder 한쌍의 구조로 구성되어 있어 토지피복분류 분야에서 높은 성능을 가지는 것으로 보고되고 있다(Cho et al., 2014; Solórzano et al., 2021).

본 연구는 토지이용·토지피복(land-use land-cover, LULC) 분류를 위한 Semantic Segmentation 기반의 딥러닝 모델(U-net, DeeplabV3+)을 구축하고, 데이터세트 형태와 딥러닝 모델 조합에 따른 분류정확도를 평가하여 최적의 모델을 선정하는 것을 목적으로 수행하였다.

2. 연구자료 및 방법

2.1. 연구대상지

본 연구는 강원도 춘천시를 대상지로 선정하였으며, 지리적 위치는 북위 37°41′–38°05′, 동경 127°31′–127°47′이다. 행정구역은 1읍 9면 15동으로 구성되어 있으며, 면적은 약 1,116 km2이다. 2021년 기준, 춘천시의 인구는 약 28만명으로 강원도에서 두 번째로 많은 인구가 분포하고 있다(Chuncheon-si, 2022). 2022년 기준 국토교통부 지적통계에 의하면, 춘천시의 토지이용현황은 임야가 약 75%로 가장 넓은 분포를 차지하고 있으며, 농경지와 습지가 각각 약 5.9%와 약 3.5% 분포하고 있다. 또한, 2011년 이후 최근 10년 동안 토지이용 변화는 임야를 비롯한 전, 답이 약 1% 내외로 감소하였으며, 정주지와 같은 인공시설물의 면적분포가 매년 약 0.4% 내외로 증가하였다(KOrean Statistical Information Service, 2022).

2.2. 연구방법

본 연구는 입력 이미지 크기, 딥러닝 모델, Stride 적용 유무 조합에 따라 12개의 토지피복도를 구축하고 비교·평가를 통해 최적의 딥러닝 모델을 선정하고자 하였다(Fig. 1).

Fig. 1. Research method for LULC classification.

2.2.1. 이미지 크기에 따른 토지이용 범주별 딥러닝 데이터세트 구축

Semantic Segmentation 기반의 딥러닝 모델 구축을 위해서는 학습 이미지와 학습을 위한 참의 값을 정의하는 라벨 이미지를 포함한 데이터세트를 구축해야 한다(Géron, 2017). 본 연구에서의 데이터세트는 무작위 추출(random sampling) 방법을 활용하여 대상지 면적의 약 10%를 선정하였으며, 학습자료와 검증자료로 구축하였다. 또한, 데이터세트는 선행 연구사례를 참조하여 70%는 학습자료로 30%는 검증자료로 구분하였으며, 이미지 크기에 따른 딥러닝 모델의 영향을 평가하기 위해 64 × 64 pixel과 256 × 256 pixel 크기의 데이터세트를 구축하였다(Han et al., 2020; Hu et al., 2021). 데이터세트 중 학습 이미지는 공간해상도 5 m의 RapidEye 영상을 이용하였으며, 라벨 이미지는 환경부 세분류 토지피복도를 수정하여 사용하였다. 라벨 이미지는 IPCC 기준에 따라 산림지, 농경지, 초지, 습지, 정주지, 기타토지로 구분된 이미지로 구축하였으며, 세분류 토지피복도를 검토 및 재분류하여 정밀한 라벨 이미지를 구축하고자 하였다. 라벨 이미지는 RapidEye 영상과 동일한 해상도와 동일한 픽셀 위치의 Raster 정보로 구축하였으며, 6개의 분류 범주를 1–6의 값으로 구분하였다.

2.2.2. 토지피복분류를 위한 Semantic Segmentation 기반 딥러닝 모델 적용

본 연구에서는 이미지 크기 2가지(64 × 64 pixel, 256 × 256 pixel), 딥러닝 모델 3가지(U-net, DeeplabV3+, U-net과 DeeplabV3+를 이용한 앙상블), Stride 적용 유무 조합에 따라 총 12가지의 토지피복도를 구축하고 정확도를 비교·평가하였다.

U-net은 이미지 분할을 목적으로 구성된 구조로 네트워크 구성이 알파벳 ‘U’와 유사한 형태를 가지고 있어 U-net으로 불린다(Fig. 2a). U-net의 아키텍처(architecture) 왼쪽은 convolution layer와 max pooling layer로 구성된 Encoder 계층과 convolution layer와 up-convolution layer로 구성된 Decoder 계층으로 구분되어 있다(Ronneberger et al., 2015; Song et al., 2020). U-net 모델은 일반적인 CNN 네트워크와 달리 이미지를 학습할 때 슬라이딩 윈도우 방식이 아닌 이미지를 패치단위로 잘라서 학습을 진행하며, 공간적인 패턴정보를 분류에 활용할 수 있어 고해상도의 영상 이미지 분류에 효과적으로 적용할 수 있는 장점이 있다(Kattenborn et al., 2021). 또한, 기존 선행 연구에 따르면 U-net 모델은 토지피복분류 범주 중 침엽수림, 활엽수림 등의 산림지에서 높은 정확도를 도출할 수 있는 장점이 있다(Kim et al., 2021).

Fig. 2. The architectures at semantic segmentation based deep learning model.

DeeplabV3+는 atrous spatial pyramid pooling (ASPP)를 활용하여 개발된 알고리즘으로서, ASPP는 일반적인 convolution layer와 달리, 필터 내부에 Stride를 통해 빈 공간을 두고 연산하여 동일한 양의 파라미터(parameter)와 계산량을 유지하면서도 픽셀의 계산영역을 넓히는 것이 특징이다. DeepLab은 ASPP의 빈 공간의 크기에 따라 여러 개의 convolution layer를 병렬 구조로 배치하고 합치는 과정을 통해 subsampling과 upsampling 과정에서 픽셀의 특징 정보가 사라지는 문제를 해결하고자 개발된 모델이다(Chen et al., 2017; Chen et al., 2018). 또한, DeeplabV3+ 모델은 토지피복분류 범주 중 밭, 시설 재배지, 초지 범주에서 높은 정확도를 도출할 수 있는 장점이 있다(Fig. 2b) (Lee and Lee, 2020).

한편, 토지피복도 구축과정에서 학습결과를 결합하여 과적합을 방지하고 정확도를 향상시키는 앙상블 기법의 활용이 높아지고 있으며, Voting, Bagging, Boosting 등의 방법이 널리 사용되고 있다(Salunkhe and Mali, 2016). 그 중 본 연구에서는 U-net과 DeeplabV3+ 모델의 조합을 통해 모델별 예측값의 평균을 활용하는 Soft Voting 방법을 적용하였다(Choi et al., 2018; Cho, 2020) (Fig. 3). Soft Voting 방법은 각각의 딥러닝 모델별 예측 확률을 종합적으로 고려하여 예측의 신뢰성을 높이고, 상호 보완적인 역할을 수행하여 특정 클래스의 분류 성능이 향상되는 장점을 가지고 있다(Hastie et al., 2009).

Fig. 3. Ensemble model based soft voting method.

또한, Semantic Segmentation 기반의 딥러닝 모델은 학습과정에서 해당 지점의 픽셀 값과 함께 주변 픽셀과의 공간적인 관계도 함께 학습하기 때문에 입력 이미지의 외각 부분에서 분류 정확도가 낮아지는 단점이 있으며, 이러한 문제를 해결하기 위해 Stride를 적용하였다. Stride는 입력 이미지에 필터를 적용할 때 이동할 간격을 조절하는 것을 의미하며, Stride 적용에 따라 데이터세트를 다르게 구성하였다. 이미지 크기, Stride 적용, 딥러닝 모델 세 가지 변수의 조합에 따라 구축한 토지피복도의 정확도를 평가하고 최적의 딥러닝 모델을 선정하였다.

딥러닝 모델의 구축은 Python (version 3.9.12) 언어를 활용하였으며, Tensorflow와 Keras 패키지를 활용하여 딥러닝 모델을 구축하였다. 학습 및 검증 이미지는 CV2와 Rasterio, Numpy 패키지를 활용하여 전처리 작업을 수행하였다.

2.2.3. 딥러닝 모델의 학습 및 검증

딥러닝 모델의 학습 및 검증은 학습이 진행된 후에 검증이 이루어진다. 먼저 학습 이미지가 입력되고 학습 이미지의 라벨 이미지와 모델의 분류결과를 비교하면서 딥러닝 모델 아키텍처 내의 매개변수가 조정된다. 모든 학습데이터가 입력된 후에는 매개변수를 고정하고, 검증 이미지를 입력하여 출력된 분류결과와 검증 라벨 이미지와 비교를 통해 정확도 및 손실 값을 기반으로 모델을 평가한다. 딥러닝 모델의 학습횟수는 학습과정에서 학습 정확도 및 검증 정확도가 더 이상 증가하지 않으며, 학습 손실 및 검증 손실 값이 더 이상 감소하지 않는 지점인 1,000회로 설정하고 4가지 지표를 통해 학습 및 검증 정확도를 비교·평가하였다.

2.2.4. 딥러닝 기반 토지피복도의 정합성 검토

딥러닝 기반 토지피복도는 분류 정합성을 평가하기 위해 라벨 이미지와의 정합성을 전체 정확도(overall accuracy, OA)와 kappa 계수로 산출하였다(Table 1) (Rouhi et al., 2015; Huang and Rust, 2018). 또한, 범주별 분류 정확도를 평가하기 위해 Precision과 Recall을 산출하고 F1-Score를 활용하여 정확도를 평가하였다.

Table 1. Confusion matrix of deep Learning based LULC classification and label images

\(\begin{aligned}Overall \; accuracy=\frac{T P+T N}{T P+T N+F P+F N}\end{aligned}\)      (1)

\(\begin{aligned}kappa=\frac{OA-p_{e}}{1-p_{e}}\end{aligned}\)       (2)

\(\begin{aligned} p_{e} & =\left(\frac{T P+F N}{T P+F N+F P+T N} \times \frac{T P+F P}{T P+F N+F P+T N}\right) \\ & +\left(\frac{F P+T N}{T P+F N+F P+T N} \times \frac{F N+T N}{T P+F N+F P+T N}\right)\end{aligned}\)       (3)

\(\begin{aligned}Precision=\frac{TP}{TP+FP}\end{aligned}\)       (4)

\(\begin{aligned}Recall=\frac{TP}{TP+FN}\end{aligned}\)       (5)

\(\begin{aligned}F_{1}-Score=\frac{2 {\times} Precision {\times} Recall}{Precision + Recall}\end{aligned}\)       (6)

3. 연구결과 및 토의

3.1. 딥러닝 데이터세트 구축 현황

데이터세트 구축결과, 64 × 64 pixel 윈도우 사이즈의 데이터세트는 학습자료 총 763개, 검증자료 327개를 구축하였으며, 256 × 256 pixel 윈도우 사이즈의 이미지는 학습자료 총 41개, 검증자료 17개를 구축하였다(Fig. 4). 학습자료의 범주별 면적분포를 보면, 산림지는 64 × 64 pixel, 256 × 256 pixel 윈도우 사이즈 모두 각각 75.1%, 66.2%로 가장 많은 면적을 차지하며 습지, 초지, 정주지는 10% 이하의 면적을 차지하였다. 기타토지는 분류항목에 포함되지 않은 항목으로 일반적으로 건물형태를 나타내지 않는 나대지(나지의 형태지만 토지이용 목적을 알 수 없는 경우), 암석지, 채광지역 등을 기타토지로 분류하였으며 약 2% 이하의 면적이 학습자료로 구축되었다(Table 2).

Fig. 4. Training dataset by LULC categories.

Table 2. The composition at dataset for deep learning model

3.2. 학습자료의 토지피복 범주별 표면반사율 특성 비교

학습자료의 범주별 표면반사율(surface reflectance, SR) 분포는 이미지 크기에 관계없이 Red 밴드는 기타 토지, 정주지, 농경지 순으로 높게 분포하였으며, near-infrared (NIR)는 산림지, 초지, 기타토지 순으로 높게 분포하였다. 산림지의 경우 세부 범주인 침엽수, 활엽수, 혼효림은 Red, NIR의 분포가 유사하였으나, 무립목지는 세 범주에 비해 Red의 평균값과 표준편차가 높으며, 초지의 세부 범주 중 일반 초지와 Red와 NIR의 분포가 유사하였다. 농경지는 세부 범주 중 논, 밭, 시설재배지의 SR이 유사하였으나, 비시설재배지는 세 범주에 비해 Red의 평균값이 낮고 NIR의 평균값이 높으며 초지의 세부 범주 중 기타초지 및 인공초지와 유사한 분포를 보였다. 습지는 세부 범주인 내륙수와 내륙습지의 SR 분포에서 큰 차이가 발생하였으며, 특히 내륙습지는 초지와 SR 분포특성이 유사하였다. 내륙습지의 경우, 강기슭과 하천의 이끼, 수생식물 등이 포함되어 있어 내륙수에 비해 NIR이 높은 것으로 판단된다. 정주지는 세부 범주들의 SR 분포특성이 유사하였으며, 기타토지와 SR 분포가 유사하였다(Fig. 5) (Table 3).

Fig. 5. Distribution of R-IR surface reflectance by LULC categories.

Table 3. Distribution of surface reflectance characteristics by LULC sub-categories

3.3. 토지피복분류를 위한 딥러닝 모델의 학습 및 검증 결과

토지피복분류를 위한 6개 범주의 분류 모델의 학습 결과, 학습 정확도와 검증 정확도를 고려하였을 때 64 × 64 pixel 이미지 크기의 데이터세트를 적용한 모델이 256 × 256 pixel 이미지 크기의 모델보다 정확도가 높았으며, 학습 정확도와 검증 정확도는 각각 0.90과 0.86 이상으로 두 모델 모두 우수하였다. 또한, U-net과 DeeplabV3+모델은 이미지 사이즈에 따라 정확도 성능에 차이가 확인되었으며, 64 × 64 pixel 이미지 사이즈를 활용한 모델에서는 U-net, 256 × 256 pixel 윈도우 사이즈 이미지를 활용한 모델에서는 DeeplabV3+가 우수하였다.

모델의 학습시간을 비교해보면 DeeplabV3+ 모델은 64 × 64 pixel 윈도우 사이즈를 활용할 경우 약 2시간 이상 소요되며, 256 × 256 pixel 윈도우 사이즈 모델은 약 1시간 30분 이상으로 학습시간이 오래 소요되었다. 반면, U-net 모델은 DeeplabV3+ 모델에 비해 이미지 크기와 관계없이 학습 소요시간이 최대 약 3배 적게 분포하였다.

이미지 크기별 데이터세트의 특성을 비교해 보면, 256 × 256 pixel의 데이터세트가 58개로 64 × 64 pixel 이미지의 약 5%에 해당되지만 학습되는 이미지의 크기는 4배이고 토지피복 범주별 면적비율도 유사한 것을 확인할 수 있었다. 또한 이미지 크기와 상관없이 두 모델 모두 정확도가 일관성을 보였다. 따라서 학습 및 정확도가 높으면서도 모델의 학습시간이 적게 소요되는 모델을 활용하는 것이 토지피복 분류에 적합한 것으로 판단된다. 특히, 256 × 256 pixel 이미지를 활용한 U-net모델은 학습 및 검증 손실값이 다소 낮지만 학습 정확도와 검증 정확도의 일관성이 높고 동일한 데이터세트를 활용한 DeeplabV3+ 모델보다 학습 소요시간이 적게 소요되었다(Table 4).

Table 4. Comparison of accuracy in training and validation dataset

3.4. 딥러닝 모델별 토지피복도와 라벨 이미지의 정합성 평가

3.4.1. U-net과 DeeplabV3+ 단일 모델 비교

U-net과 DeeplabV3+모델 기반의 토지피복도와 라벨 이미지의 정합성 평가결과, 64 × 64 pixel 이미지 크기의 데이터세트를 활용한 U-net 모델의 OA가 89.8%, kappa계수 74.9%로 가장 우수하였으며 딥러닝 모델별 학습 및 검증결과와 유사하였다. Lee et al. (2020)은 U-net 모델을 활용한 토지피복분류에서 OA가 약 74.8%로 분류되었으며, Kim et al. (2021)은 DeeplabV3+ 모델과 U-net을 활용한 토지피복분류에서 각각 약 80.4%, 82.3%를 달성하였다. 딥러닝 모델별 정합성 비교결과, 학습모델과 유사하게 64 × 64 pixel 이미지 사이즈의 데이터셋을 이용하였을 때의 모델이 우수하였다(Table 5). 한편, 64 × 64 pixel 윈도우 사이즈의 이미지를 활용한 딥러닝 모델의 OA와 kappa 계수는 U-net 모델이 DeeplabV3+ 모델보다 상대적으로 우수하였으나 거의 차이는 없었으며 선행연구에 의하면 입력자료의 크기에 따라 분류 정확도에 차이가 발생하였다(Kim et al., 2018; Sameen et al., 2018).

Table 5. Confusion matrix of deep learning model based LULC classification

F1-Score를 통해 토지피복 범주별 정확도를 비교해 보면 이미지 크기에 관계없이 U-net과 DeeplabV3+모델 모두 유사한 분포를 보였다. 산림지는 약 96% 이상의 높은 정확도를 보였으며, 습지 또한 약 86% 이상으로 분류 정확도가 높았다. 한편, 초지와 기타토지의 경우 F1-Score가 약 45% 미만의 낮은 분포를 보였으며, 이는 선행연구사례와 유사한 분포를 보였다(Zhang et al., 2018; Park et al., 2020). 초지의 경우 산림지와 농경지로 혼동하는 경우가 가장 많이 발생하였으며, 기타토지는 농경지와 정주지로 혼동하는 경우가 가장 많이 발생하였다. 이에 따라 향후 학습데이터의 범주별 세부 카테고리에 대한 재검토가 필요한 것으로 판단된다.

3.4.2. U-net과 DeeplabV3+ 앙상블 및 Stride 적용에 따른 모델 정확도 비교

딥러닝 모델별 정합성 비교결과 64 × 64 pixel 윈도우 사이즈의 이미지에서는 Stride를 적용하지 않을 경우 앙상블 모델의 OA가 평균 약 90.4%, kappa 계수는 평균 약 76.2%로 정합성이 가장 높았으며, U-net과 DeeplabV3+ 단일 모델을 활용할 때보다 높은 정합성을 보였다. 256 × 256 pixel 윈도우 사이즈의 이미지에서도 앙상블 모델의 OA가 평균 약 89.0%, kappa 계수는 평균 약 74.4%로 정합성이 가장 높았다. 이미지 크기와 상관없이 앙상블 모델 적용이 U-net과 DeeplabV3+ 단일 모델보다 토지피복분류 정확도가 향상됨을 확인할 수 있었으며, Zhang et al. (2020)과 Joshi et al. (2021)의 연구결과와 유사하였다(Fig. 6).

Fig. 6. LULC classification map by deep learning model.

Stride 적용 유무에 따른 정합성 비교결과, 이미지 크기에 관계없이 U-net, DeeplabV3+, 앙상블 모델 모두 정합성이 개선되었으며 Yang et al. (2019)의 연구결과와 유사하였다. 또한, 이미지의 경계에 따라 직선형태로 오분류되는 현상도 개선되었다(Fig. 7). 이미지 크기, 앙상블 모델, Stride 적용 지역 등 4종류의 변수를 고려할 경우 64 × 64 pixel 윈도우 사이즈 이미지 기반의 Stride를 적용한 앙상블 모델이 정확도 측면에서 가장 우수하였다(Table 6).

Fig. 7. Examples show the accuracy improvement of deep learning based classification map with stride.

Table 6. Accuracy assessment of deep learning model based LULC classification with stride

3.4.3. 딥러닝 모델의 오분류 사례

딥러닝 모델의 공통적인 오분류 사례를 보면 산림지↔초지, 농경지↔초지, 농경지↔정주지 범주간의 오분류 사례가 가장 많이 발생하였다. 산림지의 오분류 사례의 경우 산림경영 활동지역이나 무립목지 등을 초지로 오분류한 사례가 다수 발생하였다. 특히, 무립목지는 초지의 세부 범주 중 일반초지, 인공초지와 표면반사율이 유사하기 때문에 초지로 오분류된 것으로 판단된다. 농경지와 초지의 오분류 사례는 영상에서 녹색 계열의 색상으로 분포하는 지역에서 초지로 오분류된 사례가 다수 발생하였으며, 농경지를 정주지로 오분류한 사례는 비닐하우스와 유리온실 등을 정주지로 분류한 사례가 가장 많이 발생하였다. 특히, 농경지의 세부 범주 중 시설재배지가 이에 해당되며 표면반사율이 정주지와 유사하기 때문에 오분류된 것으로 판단된다(Zhang et al., 2018). 초지를 산림지로 오분류한 사례는 산림지와 초지의 경계부에서 다수 발생하였으며, 초지 내에서도 녹색 계열의 색상이 짙고 질감이 거친 부분에서 다수 발생하였다. 반대로 초지와 농경지의 오분류 사례는 초지 내에서 녹색 계열의 색상이 옅고 질감이 매끄러운 지역에서 다수 발생하였다. 정주지를 농경지로 오분류한 사례는 대규모 농경지 사이의 도로에서 가장 많이 발생하였다. 이는 RapidEye 영상의 공간해상도가 5 m급이기 때문에, 폭이 좁은 도로지역에서 mixed pixel로 인해 오분류된 것으로 판단된다. 또한 지붕이 지푸라기로 구성된 전통마을 같은 경우에는 마을 전체가 농경지로 분류되었는데, 이러한 지역은 농경지와 표면반사율이 유사하기 때문에 오분류된 것으로 판단된다.

4. 결론

본 연구는 Semantic Segmentation 기반의 U-net과 DeeplabV3+, 두 모델을 조합한 앙상블 모델을 활용하여 토지피복분류를 위한 최적의 딥러닝 모델을 선정하고자 하였다. 특히, 딥러닝 모델 고도화를 위해 데이터세트의 질적 향상 문제에 대하여 주목하였으며, 입력정보의 이미지 블록 단위의 크기변화에 따른 정확도 비교, 딥러닝 모델에 따른 정확도 비교, 딥러닝 모델의 앙상블 조합에 따른 딥러닝 단일모델 대비 정확도 향상에 대하여 비교 분석하였다.

딥러닝 모델(U-net, DeeplabV3+, Ensemble)을 활용하여 이미지 크기, Stride 적용 조합에 따라 총 12가지 토지 피복도를 구축한 결과, 이미지 크기가 작을수록 정확도가 증가하였으며 Stride와 앙상블 기법을 적용할 경우 정확도가 향상되었다. 한편, Semantic Segmentation 기반의 딥러닝 모델은 이미지 블록단위에서 분석되므로 블록단위 사이에서 피복물의 불일치 현상이 발생하였으며 Stride 기법 적용을 통해 개선됨을 확인하였다. 하지만 Stride 중첩율이 커질수록 구축소요시간이 길어짐에 따라 향후 Stride와 구축소요시간과의 관계, Stride 중첩율과 정확도 향상과의 관계에 대한 검토도 필요하다고 판단된다.

또한, 토지피복분류를 위한 딥러닝 모델의 입력 이미지에서 RedEdge, NIR 밴드 정보를 활용하였음에도 산림지↔초지,농경지↔초지 등 식생이 포함된 토지이용 범주에서 오분류 사례가 발생하였다. 향후 딥러닝 모델에서 근적외역 밴드의 분광 반사특성을 반영할 수 있도록 딥러닝 모델 아키텍처의 개선이 필요할 것으로 판단된다.