Comparative Analysis of AI Performance for Riparian Zone Land Use and Land Cover Classification Using Loss Functions Adapted for Data Imbalance

데이터 불균형을 고려한 손실함수 적용 수변구역 토지피복 분류 AI 성능 비교 분석

Abstract

Aquatic environments and ecosystems are significantly influenced by riparian land use and land cover (LULC) patterns. With the continuous increase in human activities, LULC patterns are undergoing constant transformation, subsequently altering their impacts on aquatic environments. To proactively respond to changes in aquatic environments, continuous monitoring of riparian LULC changes is essential. Historically, LULC monitoring has been conducted primarily through field surveys, which present clear temporal and financial limitations when investigating extensive areas. Remote sensing techniques have emerged as viable alternatives to field surveys due to their capacity to provide information across broad geographical regions. When integrated with artificial intelligence technologies such as deep learning, these techniques enable area-based LULC monitoring. The accuracy of remote sensing and artificial intelligence (AI)-based LULC monitoring depends heavily on the performance of trained models, highlighting the importance of developing high-performance models. However, in real-world environments, LULC data often exhibits class imbalance, with unequal representation across categories. This data imbalance diminishes model performance, ultimately reducing the accuracy of LULC monitoring. In this study, we developed a U-Net-based riparian LULC classification algorithm for the main Nakdong River basin in South Korea, implementing loss functions that account for data imbalance. We evaluated the performance of various imbalance-addressing loss functions-Combo loss, Focal loss, Dice loss, and Tversky loss-against the standard sparse categorical cross-entropy (SCCE) loss that does not address imbalance. Performance evaluation revealed that the U-Net model incorporating Combo loss demonstrated the highest performance (F-1 score = 0.8529, intersection over union [IoU]=0.7519), while the U-Net model with Tversky loss (F-1 score = 0.8426, IoU=0.7357) also outperformed the model using SCCE loss (F-1 score = 0.8375, IoU=0.7296). However, U-Net models employing Focal loss and Dice loss showed inferior performance compared to the SCCE loss model. While models using Focal loss and Dice loss exhibited higher performance for minority classes, their overall performance deterioration was attributed to decreased accuracy in majority classes, indicating the need for optimizing class weights for minority categories. The implementation of Combo and Tversky loss functions for addressing data imbalance resulted in enhanced model performance, which is expected to lead to more accurate riparian LULC monitoring.

수중 환경 및 생태계는 수변의 land use and land cover (LULC)에 많은 영향을 받는다. 최근 인간활동의 증가에 따라 LULC의 지속적으로 변화되고 있고, 변화된 LULC에 의해 수중 환경이 받게되는 영향도 변화되고 있다. 수중 환경의 변화를 사전적으로 대응하기 위해서는 수변의 LULC 변화를 지속적으로 모니터링 하는 것이 중요하다. 과거에는 현장조사 중심으로 LULC 모니터링을 수행했지만, 현장조사는 넓은 대상지역을 조사하기에는 시간적 비용적 한계가 명확하다. 원격탐사 기법은 광범위한 지역에 대한 정보 제공에 용이하여 현장조사 기법의 대안으로 활용되었고, 딥러닝 등 artificial intelligence (AI) 기법과 결합하여 면 단위의 LULC 모니터링 가능하게 했다. 원격탐사 및 AI 기반 LULC 모니터링의 정확도는 모델의 성능에 의존하여 높은 성능의 모델을 학습하는 것이 중요하다. 하지만, 실제 환경에서 LULC는 각 항목의 수가 균등하지 않은 데이터 불균형이 존재한다. 데이터 불균형은 모델의 성능을 감소시키고, 결국 LULC 모니터링의 정확도 감소로 이어진다. 본 연구에서는 데이터 불균형을 고려하는 손실함수를 적용하여 대한민국의 낙동강 본류 유역을 대상으로 U-Net 모델 기반 수변 LULC 분류 알고리즘을 학습했다. Combo loss, Focal loss, Dice loss 및 Tversky loss 등 데이터 불균형을 고려하는 손실함수는 불균형을 고려하지 않는 sparse categorical crossentropy (SCCE) loss와 비교하여 성능을 평가했다. 모델 성능 평가 결과, Combo loss를 적용한 U-Net 모델이 가장 높은 성능(F-1 score = 0.8529, intersection over union [IoU]=0.7519)을 보였고, Tversky loss를 적용한 U-Net 모델도 SCCE loss를 적용한 U-Net 모델의 성능(F-1 score = 0.8375, IoU=0.7296)보다 높은 성능(F-1 score = 0.8426, IoU=0.7357)을 보였다. 하지만 Focal loss 및 Dice loss를 적용한 U-Net 모델들은 SCCE loss를 적용한 U-Net 모델보다 낮은 성능을 보였다. 소수 항목에 대해서는 Focal loss 및 Dice loss를 적용한 U-Net 모델의 성능이 더 높았지만, 다수 항목에서의 성능 저하가 원인으로 판단됨으로 소수항목에 대한 가중치 최적화가 필요하다. Combo 및 Tversky loss 기반 데이터 불균형 해결은 모델 성능 향상으로 이어졌고, 이는 정확한 수변 LULC 모니터링으로 연계될 것으로 기대된다.

1. 서론

인간활동으로 인해 전세계의 다양한 환경에서 land use and land cover (LULC)가 지속적으로 변화되고 있다(Seyam et al., 2023; Ullah et al., 2024; Zhao et al., 2024). 농지 개발 및 도시화 등의 LULC의 변화는 인간 생활에 편리함을 주었다. 그러나 환경 및 생태에 악영향을 끼친다(Locke, 2024). 특히, 수변환경에서 도로와 같은 불투성 표면의 증가는 수계로의 유출수를 증가시켜, 비점오염원의 유입을 증가시켰다(Shi et al., 2017). 또한, 수변의 LULC의 변화는 수질, 수량, 생지화학적 순환, 생물다양성 변화의 주요 요인으로 간주된다(Ahmad et al., 2021; Menses et al., 2015; Teixeira et al., 2014). 따라서 LULC의 변화로 야기된 수변환경의 변화에 대응하기 위해서는 수변 LULC의 모니터링이 필요하다.

전통적으로 LULC 모니터링은 현장 조사 기반으로 수행되었지만, 광범위한 지역을 조사하기에는 시간적 비용적 한계가 있다. 따라서 넓은 지역에 대해 효율적인 조사를 수행할 수 있는 인공위성, 항공기 및 드론 등 원격탐사 기반 데이터가 활용되었다(Mashala et al., 2023). 최근에는 원격탐사를 통해 수집된 데이터는 머신러닝 및 딥러닝 등 artificial intelligence (AI) 알고리즘과 결합하여 다양한 시공간적 범위로 LULC 모니터링 연구가 수행되어왔다(Dash et al., 2023; Lee and Lee, 2022; Yan et al., 2023). Dash et al. (2023)은 미국의 Ｂig Ｓunflower 강 유역을 대상으로 Landsat 8 OLI C1 Level-2 영상과 maximum likelihood, Random Forest와 Support Vector Machine 3개의 머신러닝 알고리즘을 활용하여 7개의 LULC 항목을 분류했다. Yan et al. (2023)은 중국 Taihu 호수 인근 도심을 대상으로 Sentinel-2 영상 및 convolutional neural network (CNN) 기반 딥러닝 모델을 활용하여 8개 항목의 LULC를 분류했다.

원격탐사 데이터 및 AI 알고리즘 기반 LULC 모니터링은 지속적인 연구가 수행되고 있지만, 정확한 LULC 모니터링을 위해서는 데이터 불균형 해소되어야만 한다. 데이터 불균형은 데이터 내 분류항목 중 특정 항목이 그 수가 많거나 혹은 적어서 균형이 맞지 않은 상황을 의미한다(Thabtaha et al., 2020). AI 알고리즘 학습 시 데이터 불균형이 존재하는 학습데이터를 사용하는 경우, 소수 항목에 대한 성능 감소 혹은 전체적인 성능 감소 등의 문제가 발생한다(Baek et al., 2022; Naboureh et al., 2020).데이터불균형을해소하기위해,기본적인방법으로 다수 항목의 감소시키는 undersamping 기법과 소수 항목의 증가시키는 oversampling 기법이 활용된다(Fonseca et al., 2021). 하지만 하나의 영상에 다수의 분류항목이 존재하는 데이터를 oversampling 및 undersampling으로 완전한 데이터 균형을 맞추기에는 한계가 존재한다. 따라서 모델 학습 시 소수 항목에 대해 가중치를 부여하는 등 데이터 불균형이 존재하는 데이터에 적합한 손실함수들이 개발되었다(Lin et al., 2017; Li et al., 2019; Salehi et al., 2017; Taghanaki et al., 2019).

본 연구에서는 데이터 불균형이 존재하는 수변의 LULC을 모니터링 성능을 개선시키기 위해, 기존에 개발된 데이터 불균형을 고려하는 손실함수를 적용하여 수변 LULC 분류 모델들을 학습했다. 수변 LULC 분류 모델로는 대표적인 Segmentation 모델인 U-Net 모델을 활용했고, 대한민국의 주요한 수자원인 낙동강 본류 유역을 대상으로 했다. 손실함수는 데이터 불균형 해소에 활용된 Combo loss, Focal loss,Dice loss및Tversky loss과일반적으로사용되는sparse categorical crossentropy (SCCE) loss를 U-Net 모델 학습에 활용했다. 각 손실함수를 적용한 U-Net 모델은 5가지 성능지표를 적용하여 성능을 비교하여 손실함수의 효과를 평가했다.

2. 연구 자료 및 방법

2.1. 연구 지역

낙동강은 국내의 가장 긴 강으로 521.5 km의 유하거리와 23,817.3 km²의 유역면적을 가지며(Fig. 1), 35개의 하위 유역과 9개의 광역시 및 도를 포괄한다(Kim and Kwon, 2022; Mamun et al., 2022). 낙동강 유역은 대한민구의 남동쪽에 위치하며, 여름에는 고온다습하고 겨울에는 한랭건조한 기후적 특성을 가진다(Seo et al., 2021). 또한, 평균 강우량은 1,200 mm이고 동아시아 몬순 기후의 영향으로 대부분의 강우가 6월에서 9월까지 여름에 집중된다(Lee and Choi, 2021; Ma et al., 2024). 낙동강은 대구, 경북, 부산 경남 지역에서 식수 및 농업용수 등 주요한 수자원으로 활용됨으로 낙동강 수질환경에 대한 관심이 크다(Kang et al., 2019). 낙동강 유역 내 LULC는 농업지역, 산림, 초지, 습지, 나지 등이 존재하며(Shim and Choi, 2024), 기존의 LULC를 모니터링함으로 주요 수자원인 낙동강의 관리가 필요하다.

Fig. 1. Study area located in the southeastern part of South Korea. The bold line indicates the study area of the Nakdong River basin, and the red dotsrepresent the locations where Sentinel-2 imageswere captured.

2.2. 연구데이터

2.2.1. 토지 피복지도 항공/위성 이미지 데이터(경상)

AI 허브에서는 AI 기술 및 제품 서비스 개발에 필요한 데이터 및 AI SW API 등의 인프라를 제공한다(https://www.aihub.or.kr/). 토지 피복지도 항공/위성 이미지 데이터(경상)는 국토환경의 변화탐지 및 토지이용에 모델 개발에 필요한 1,500개의 데이터셋을 제공한다. 데이터셋중 위성 이미지 데이터는 10 m 공간해상도를 가진 Red, Green, Blue, nearinfrared (NIR) 4개의 밴드로 구성된 Sentinel-2 위성영상을 제공한다. 라벨 데이터는 건물, 도로, 농경지, 산림, 미분류 5개의 항목으로 분류된다. 본 연구에서는 5개의 라벨 데이터로는 낙동강 본류 유역의 LULC를 충분히 표현하기 어렵다고 판단하여, 중분류 토지피복지도를 활용해서 분류 항목 세분화를 수행했다.

2.2.2. 중분류 토지 피복지도

환경공간정보서비스에서는 전국의 대분류, 중분류 및 세분류 토지 피복지도를 제공한다(https://egis.me.go.kr/). 중분류 토지피복지도는 5 m 공간 해상도로 제공하며, 주거 지역을 포함한 22개의 항목으로 구성한다. Landsat TM + IRS 1C위성영상, SPOT5, 아리랑 2호 위성영상 등 원격탐사자료와 수치지형도, 임상도 등 참조자료 기반으로 중분류 토지피복지도는 생성됬고, 본 연구에서 수변피복 분류 모델 학습 용 신규데이터셋 구축에 활용했다.

2.2.3. 수변피복 분류 모델 학습 및 검증 데이터 구축

토지 피복지도 위성 이미지 데이터와 중분류 토지피복지도를 활용하여 신규 수변피복 분류 모델 학습 및 검증 데이터를 구축했다. 기존의 토지 피복지도 위성 이미지 데이터 중 낙동강 유역의 1 km 버퍼 내에 존재하는 437개의 이미지를 대상으로 수행했다. 토지 피복지도 위성 이미지 데이터의 라벨 중 건물, 도로, 산림은 유지하고, 농경지는 중분류 토지피복지도를 기준으로 논과 밭으로 재분류 했고, 미분류 항목은 건물, 도로, 논, 밭, 산림, 초지, 습지, 나지, 하천 및 비대상지 10개의 항목으로 재분류했다(Table 1). 새로 구축한 이미지 및 라벨 데이터는 6:2:2의 비율로 분리하여, 학습데이터, 검증데이터 및 시험데이터로 활용했다.

Table 1. Classification categories in the label data across AI hub dataset, land coer map and revised dataset

2.3. 수변피복 분류 모델

2.3.1. U-Net 모델

U-Net 모델은 이미지의 각 픽셀을 특정 항목으로 분류하는 대표적인 Segmentation 모델이다(Zhao and Sun, 2017; Kashyap et al., 2022). UNet 모델은 이미지의 주요한 특징을 추출하는 인코더(encoder)와 추출된 특징을 활용하여 입력한 이미지로 복원하는 디코더(decoder)로 구성한다(Ulmas and Liiv, 2020). 본 연구에서는 RGB 및 NIR로 구성된 이미지를 인코더에 입력하여 주요한 특징을 추출하고, 디코더에서 추출된 특징을 활용하여 입력한 이미지와 동일한 크기를 가지는 라벨데이터로 복원하도록 U-Net 모델을 구축했다(Fig. 2). 인코더와 디코더는 합성곱 레이어, 배치(batch) 정규화 레이어, 활성화 함수 및 드롭아웃 레이어로 구성된 인코딩 및 디코딩 블록을 활용했다. 인코더는 인코딩 블록과 max pooling을 활용하여 이미지의 주요 특징인 특성맵(feature map)을 생성했고, 디코더는 디코딩 블록과 업샘플링을 활용하여 특성맵으로부터 라벨 데이터를 복원했다. 복원과정에서, U-Net 모델은 스킵구조 연결을 통해 디코더의 입력자료와 동일한 크기를 가진 feature map을 활용하여 공간정보 소실을 방지했다. 모델의 하이퍼파라미터(hyperparameter)는 학습률 0.001, epoch 수 300 및 Batch 크기 10으로 설정하여 학습을 수행했다.

Fig. 2. Structure of the U-Net model-based riparian LULC classification model.

2.3.2. Loss Function

U-Net 모델은 데이터 불균형을 고려하지 않은 SCCE loss와 데이터 불균형을 고려하는 Focal loss, Dice loss, Tversky loss 및 Combo loss를 사용했다. SCCE loss 다중 클래스 분류에서 널리 사용되는 기본함수로 대응되는 라벨데이터와 동일한 항목으로 확률(p_i,yi)을 예측할 경우 손실값이 낮아진다. Focal loss는 항목 별 가중치(α)를 지정하고, 잘 분류된 샘플보다 분류하기 어려운 샘플에 더 집중하도록 파라미터(γ)를 설정한다(Lin et al., 2017). Dice loss는 목표하는 항목을 모델이 옳게 맞춘 확률의 합을 모델이 목표 항목으로 예측한 확률과 모델이 목표 항목으로 올바르게 예측하지 못한 확률의 합으로 나누어 산정한다(Li et al., 2019). Tversky loss는 목표하는 항목을 모델이 옳게 맞춘 확률에 가중치를 준 Dice loss와 달리 모델이 목표항목으로 오분류한 확률과 목표 항목을 오분류한 확률에 대해 가중치(α, β)를 준다(Salehi et al., 2017). Combo loss는 SCCE loss와 달리 정답인 확률과 오답인 확률에 서로 다른 가중치(β)를 부여하며, Dice loss (α)에 가중치를 주어 함께 산정한다(Taghanaki et al., 2019). 각 손실함수는 식 (1–5)와 같다.

\(\begin{align}\text {SCCE loss}=-\frac{1}{n} \sum_{i=1}^{N} \log \left(p_{i, y_{i}}\right)\end{align}\)       (1)

\(\begin{align}\text {Focal loss} \left.=-\frac{1}{n} \sum_{i=1}^{N} \alpha\left(1-p_{i, y_{i}}\right)^{\gamma} \log \left(p_{i, \gamma}\right)\right)\\\end{align}\)       (2)

Dice loss

\(\begin{align}=-\frac{1}{C} \sum_{c=1}^{C} \frac{2 \cdot \sum_{i=1}^{N}\left[y_{i}=c\right] \cdot p_{i, c}+c}{2 \cdot \sum_{i=1}^{N}\left[y_{i}=c\right] \cdot p_{i c}+\sum_{i=1}^{N}\left[y_{i} \neq c\right] \cdot p_{i c}+\sum_{i=1}^{N}\left[y_{i}=c\right] \cdot\left(1-p_{i c}\right)+c}\end{align}\)       (3)

Tversky loss

\(\begin{align}=-\frac{1}{C} \sum_{c=1}^{C} \frac{\sum_{i=1}^{N}\left[y_{i}=c\right] \cdot p_{i, c}+\epsilon}{\sum_{i=1}^{N}\left[y_{i}=c\right] \cdot p_{i, c}+\alpha \sum_{i=1}^{N}\left[y_{i} \neq c\right] \cdot p_{i, c}+\beta \sum_{i=1}^{N}\left[y_{i}=c\right] \cdot\left(1-p_{i, c}\right)+\epsilon}\end{align}\)       (4)

Combo loss

\(\begin{align}=-\frac{\alpha}{N} \sum_{i=1}^{N}\left[\beta \cdot \log \left(p_{i, y_{i}}\right)+(1-\beta) \cdot \sum_{c=y_{i}} \log \left(1-p_{i, y_{i}}\right)\right]+(1-\alpha) \cdot\text {Dice loss}\end{align}\)       (5)

본 연구는 SCCE loss를 사용한 U-Net SCCE 모델, Focal loss를 사용한 U-Net Focal 모델, Dice loss를 사용한 U-net Dice 모델, Tversky loss를 사용한 U-Net Tversky 모델 및 Combo loss를 사용한 U-NetCombo 모델을 학습했다.

2.3.3. 성능 지표

수변피복 분류모델의 성능은 pixel overall accuracy (pOA)와 정밀도(Precision), 재현율(Recall), F1 점수(F1 score) 및 Intersection over Union (IoU)의 클래스 평균값을 사용하여 평가했다. pOA, 정밀도, 재현율 및 F1 점수는 다음의 3 가지 경우를 활용하여 산정한다: (1) TP(True Positive)는 목표하는 분류항목을 옳게 분류한 경우, FP (False Positive)는 목표하는 분류항목을 다른 항목으로 오분류한 경우, FN(False Negative)은 목표 항목 외의 항목을 목표 항목으로 오분류하는 경우. IoU는 실제 분류 항목의 영역과 예측한 분류 항목의 영역이 얼마나 겹치는지를 산정하며, 5개의 성능 지표를 수실으로 나타내면 아래와 같다.

\(\begin{align}\text {pOA} = \frac{T P }{T P + T N + F P + F N}\end{align}\)       (6)

\(\begin{align}\text {Precision} = \frac{T P }{T P + F P}\end{align}\)       (7)

\(\begin{align}\text {Recall} = \frac{T P}{T P + F N}\end{align}\)       (8)

\(\begin{align}\text {F1-score}= 2\times \frac{\text {Recall} \times {\text {Precision}}}{\text {Recall+Precision}}\end{align}\)       (9)

\(\begin{align}IoU=\frac{\text { Prediction } \cap \text { Ground Truth }}{\text { Prediction } \cup \text { Ground Truth }}\end{align}\)       (10)

3. 연구 결과 및 토의

3.1. 수변피복 분류 알고리즘 학습 및 검증 데이터셋 특성

낙동강 본류의 1 km 버퍼(buffer) 내에 존재하는 토지 피복지도 위성 이미지 데이터와 중분류 토지피복지도를 기반으로 437개의 데이터 셋을 구축했다. 한 개의 라벨 데이터에서 평균적으로 산림 항목이 29.89%로 가장 많았고, 습지 지역이 2.21%로 가장 적었다(Fig. 3a). 또한, 도로, 습지, 나지, 수역은 5% 미만으로 존재하는 등, 데이터 셋에서 데이터 불균형이 발견되었다. 이미지 데이터의 각 밴드가 대응되는 라벨 데이터의 항목을 뚜렷하게 구분하느지 여부를 확인하기 위해 박스 도표를 활용했다(Fig. 3b). RGB 3개의 밴드에서는 분류항목별로 digitial number(DN)가 유사한 경향성을 보였지만, NIR 밴드는 밭, 산림, 초지, 습지 항목에서 비교적 높은 DN 값을 가졌다. RGB 밴드는 건물, 도로 및 나지에서는 100 이상의 DN 값을 보이고, 산림, 초지 습지 등에서는 100 이하의 DN 값을 보이는 등의 차이를 보였다. 따라서 RGB 및 NIR 밴드로 구성된 이미지 데이터는 라벨 데이터의 항목 분류에 유효한 변수로써 활용될 것으로 판단된다.

Fig. 3. Data characteristics. (a) Mean class proportions within labels. (b) Box plots of Sentinel-2 image DN values by class. Colors of the box plots indicate the corresponding bands: RGB bands are represented in their respective colors, and the NIR band is shown in dark red.

3.2. 손실함수별 수변피복 분류 알고리즘 성능 평가

U-Net SCCE모델은학습데이터에대해서pOA0.9087,정밀도0.8868, 재현율 0.8769, F-1 점수 0.8812 및 IoU 0.7936을 성능을 보였다(Table 2). 검증 및 시험데이터에 대한 U-Net SCCE 모델의 성능은 학습데이터에 대한 성능보다 감소했지만, 모든 성능지표에서 0.7 이상의 준수한 성능을 보였다. 데이터 불균형이 존재할 경우 유효한 손실함수를 적용한 U-Net Combo 모델은 모든 데이터셋 및 모든 성능지표에 대해서 U-Net SCCE 및 다른 손실함수를 적용한 U-Net 모델보다 우수한 성능을 보였다. U-Net Tversky 모델은 학습 데이터셋에서는 U-Net SCCE 모델 낮은 성능을 보였지만, 검증 및 시험데이터에 대해서는 높은 성능을 보였다. 하지만, U-Net Focal 모델과 U-Net Dice 모델은 오히려 U-Net SCCE 모델 낮은 성능을 보였다.

Table 2. Performance of U-Net models on training, validation, and test datasets

데이터 불균형을 고려하지 않은 U-Net SCCE 모델보다 데이터 불균형을 고려한 U-Net 모델들의 성능이 낮은 원인을 분석하기 위해, 분류항목별 성능을 평가했다. U-Net Combo 모델을 제외한 도로, 습지, 나지, 수역 등 이미지 내 비율이 낮았던 항목은 데이터 불균형을 고려한 U-Net 모델에서 더 높은 성능을 보였다(Table 3). 이는 소수항목에 대해 가중치를 주는 손실함수의 역할이 옳게 적용된 것으로 판단된다. 하지만 소수 항목에 대한 가중치 증대가 다수 항목에 대한 성능을 감소시켜, 평균적인 모델 성능을 감소시킨 것으로 판단된다.

Table 3. Performance of U-Net Models on test dataset by class (F-1 score)

U-Net Combo 모델의 경우 소수 항목 중 도로 항목만 성능이 UNet SCCE보다 높았고, 오히려 건물, 논, 밭, 산림 등 다수의 항목에 대한 성능이 높았다. Combo loss는 데이터 불균형을 고려하는 Dice loss와 데이터 불균형을 고려하지 않는 cross-entropy loss의 가중합으로 산정된다. 본 연구에서는 Combo loss의 기반이 되는 두 loss에 가중치 0.5를 동일하게 부여했고, 이에 따라 다수항목과 일부 소수항목의 성능이 높아진 결과, 평균 성능이 향상된 것으로 판단된다. 하지만, 평균 성능이 향상되어도 소수 항목에서의 성능 감소가 있음으로 Dice loss와 cross-entropy loss 간 가중치 파라미터 최적화를 통해 소수 항목에서의 성능향상이 요구된다.

3.3. 최적 수변피복 분류 알고리즘 결과 분석

가장 높은 성능을 보인 U-Net Combo 모델은 시험데이터의 Sentinel-2 영상 기반으로 수변피복 분류 결과를 도출했다(Fig. 4.). U-Net Combo 모델은 대응되는 라벨데이터 및 Sentinel-2 위성영상과 높은 유사도로 수변피복을 분류했다. 특히, 도로, 습지, 나지 및 수역 등 소수 항목이 다수 항목으로 오분류 되는 경향성이 낮았다. 하지만 분류 항목 간 경계 구간에서는 소수 항목이 경계 구간의 다른 분류항목으로 오분류되는 한계가 존재했다. 경계 구간에서의 오분류는 Segmentation 모델에서 공통되는 과제로(Ding et al., 2019), 이를 해결하기 위해 데이터 불균형과 함계 경계 구간을 고려하는 복합적인 손실함수 개발이 필요하다고 판단된다.

Fig. 4. Sentinel-2 imageries (a1–c1), ground truth image maps (a2–c2), and predicted land cover (a3–c3).

4. 결론 및 토의

본 연구는 데이터 불균형이 존재하는 낙동강 본류 유역의 LULC 분류모델 학습 시, 데이터 불균형을 고려하는 손실함수를 적용하고 효용성을 평가했다. U-Net Combo 모델은 데이터 불균형을 고려하는 다른 손실함수를 적용하는 U-Net 모델들과 데이터 불균형을 고려하지 않은 U-Net SCCE 모델보다 모든 성능지표에서 높은 성능을 보였다. U-Net Tvesky 모델은 학습 데이터에 대한 성능은 U-Net SCCE 모델보다 낮았지만, 검증 및 시험 데이에 대한 성능은 더 높아서 데이터 불균형을 고려하는 손실함수의 효용성을 나타냈다. 비록 U-Net Focal 및 U-Net Dice 모델의 전체 성능은 U-Net SCCE 모델보다 낮았지만, 분류항목 별 성능을 평가했을 때 소수 항목에서는 성능이 향상되었다. U-Net Combo를 제외한 데이터 불균형을 고려한 U-Net 모델들은 소수 항목에서 성능이 향상되었만, 일부 모델의 경우 오히려 다수 항목에 대한 성능이 감소하여 전체적인 성능이 감소되는 결과를 보였다.

데이터 불균형을 고려한 손실함수를 적용하여 U-Net 모델을 학습했음에도 모델 평균 성능 과 소수 항목에 대한 성능이 동시에 향상되지 않는 한계점을 보였다. 소수 항목에 대한 가중치 최적화는 문제 해결 방안으로 활용될 수 있지만, 데이터 불균형이 모델 성능에 미치는 영향을 정량화의 부재로 모델의 일반화된 성능 확보가 어렵다. 향후 연구에서는 데이터 불균형을 정량화하고, 정량화된 값을 소수 항목에 대한 가중치 최적화에 적용하는 것이 필요하다. 또한, 모델의 입력 변수로 분광 특성을 고려하는 광학영상 외에도 물리적 특성을 고려하는 synthetic aperture radar 데이터도 고려한다면, 소수항목인 습지와 상대적 다수 항목인 초지 등 비슷한 분광특성을 보인 항목간의 오분류가 적을 것으로 판단된다. 비록 본 연구에서는 모델의 평균 및 항목별 성능을 모두 향상시키지는 못했지만, 평균 및 항목별 성능의 개별적으로 향상시켜 손실함수의 적용성을 보였다. 따라서 손실함수는 데이터 불균형 영향 정량화 및 신규 센서 데이터와 함께 활용하여 데이터 불균형에 대한 모델 학습 능력을 강화할 것이다. 강화된 학습능력을 가진 모델은 정확한 LULC 모니터링 결과를 제공하여 수변환경의 변화에 대한 적극적 대응의 기반으로 활용될 것으로 사료된다.