Improving Inland Wetland Classification Performance of Drone Imagery-Based TransUNet Model Using Multi-Class Data Balancing Technique

다중 클래스 균형화 기법을 적용한 드론 영상 기반 TransUNet 모델의 내륙습지 분류 성능 개선

Abstract

Wetlands are becoming increasingly important for climate change mitigation and sustainability due to their ability to absorb carbon and preserve ecosystems. As a result, research is being conducted to accurately classify wetland types using high-resolution imagery and deep learning models. However, in order to improve the classification performance of deep learning models, it is essential to acquire sufficient and balanced training data for each wetland type. However, the actual wetland environment has complex characteristics such as diversity of vegetation types and rapid environmental changes due to seasonal and climatic changes, which limit the acquisition of balanced data. Therefore, in this study, we compared and analyzed the performance of inland wetland classification by applying data balancing techniques using a drone-based high-resolution inland wetland dataset. TransUNet was utilized as a classification model. The F1-scores for the unclassified, herbaceous dominated, woody dominated, water, and bare land classes were 0.849, 0.945, 0.878, 0.985, and 0.769 for the model using only the original data, respectively, and 0.862, 0.951, 0.889, 0.985, and 0.796 for the model applying data balancing, respectively, showing performance improvement for all classes. In particular, we found performance improvements of 0.013, 0.011, and 0.027 for the unclassified, woody-dominated, and bare land classes with small proportions of data. However, even after balancing, the performance of the bare land class was still relatively low, which is likely due to the fact that it does not fully reflect the diversity and complexity of the bare land class. The results of this study are expected to be effectively applied not only to inland wetland classification but also to various unbalanced multi-class environments.

습지는 탄소 흡수 및 생태계 보전 기능이 뛰어나며 기후변화 대응과 지속가능성 측면에서 그 중요성이 높아지고 있다. 이에 따라 고해상도 이미지와 딥러닝 모델을 활용하여 정확한 습지 유형 분류 연구가 수행되고 있다. 그러나 딥러닝 모델의 분류 성능을 향상시키기 위해서는 습지 유형별로 충분하고 균형적인 학습 데이터를 확보하는 것이 필수적이다. 그런데 실제 습지 환경은 식생 유형의 다양성, 계절 및 기후 변화에 따른 빠른 환경적 변화 등 복잡한 특성을 가지고 있어 데이터를 균형적으로 획득하는데 한계가 있다. 이에 따라 본 연구에서는 드론 기반의 고해상도 내륙습지 데이터셋을 활용하여 데이터 균형화 기법의 적용을 통한 내륙 습지 분류 성능을 비교·분석하였다. 분류 모델로는 TransUNet을 활용하였다. 원본 데이터만을 활용한 모델의 경우 비대상지, 초본우점, 목본우점, 수체, 나지 클래스에 대한 F1-score가 0.849, 0.945, 0.878, 0.985 그리고 0.769였으며 데이터 균형화를 적용한 모델의 경우 각각 0.862, 0.951, 0.889, 0.985 그리고 0.796으로 모든 클래스에 대해서 성능 향상을 확인할 수 있었다. 특히, 데이터 비율이 적은 비대상지, 목본 우점, 나지 클래스에 대해서 0.013, 0.011 그리고 0.027의 성능 향상을 확인할 수 있었다. 그러나 균형화 적용 이후에도 나지 클래스의 성능은 여전히 상대적으로 낮았으며, 이는 나지 클래스의 다양성과 복잡성을 충분히 반영하지 못했기 때문이라 판단된다. 본 연구 결과는 내륙습지 분류뿐만 아니라 다양한 불균형한 다중 클래스 환경에서도 효과적으로 적용될 것으로 기대된다.

1. 서론

습지는 육상과 수생 생태계의 전이대에 위치하며 독특한 생태학적·수문학적·생물학적 특성을 지닌 중요한 자연환경이다(Davis et al., 1997; Shin et al., 2024). 최근 기후위기의 심화로 인해 습지가 가진 생태계 서비스 중 탄소흡수원으로서의 가치가 국제적으로 주목받고 있으며, 습지의 보전과 복원은 중요한 자연기반 해법으로 강조되고 있다(IPCC, 2022; Gardner and Davidson, 2011). 특히 세계자연보전연맹은 습지를 탄소중립 목표 달성을 위한 주요 전략으로 제시하였으며, 기후변화에 관한 정부 간 협의체 역시 파리협정 목표 달성을 위해 습지와 같은 탄소흡수원을 적극 활용한 Net-zero 실현을 강조하고 있다(IPCC, 2022; Le Gouvello et al., 2023). 습지 중에서도 내륙습지는 IPCC의 토지이용, 토지이용 변화 및 임업(Land Use, Land-Use Change and Forestry, LULUCF) 항목 내 주요 탄소흡수원으로 지정되어 국가 차원의 온실가스 인벤토리 산정에 직접적으로 활용되고 있다(Yu et al., 2019; Lee et al., 2024). 이러한 습지의 중요성으로 인해 습지 면적과 유형 변화를 정확히 매핑(Mapping)하는 것은 필수적이다(Ozesmi and Bauer, 2002; Guo et al., 2017; Lee et al., 2024). 기존의 습지 매핑은 주로 현장 조사나 중·저해상도 위성영상을 이용하여 수행되었다. 그러나 현장 조사는 조사팀이 직접 습지를 방문하여 토양·식생·수문학적 특성을 기록해야 하므로 자원과 시간이 많이 소요되고, 접근성 문제로 인해 광범위한 지역에 적용하기 어렵다(Ozesmi and Bauer, 2002). 또한 기존의 MODIS나 Landsat과 같은 중·저해상도 위성영상은 습지의 복잡하고 세부적인 지형 특성을 충분히 반영하지 못해 습지의 유형이나 경계를 정확히 탐지하는 데 어려움이 있다(Zhang et al., 2018; Mahdianpari et al., 2021; Wang et al., 2023).

최근 항공영상과 무인 항공기(Unmanned Aerial Vehicle, UAV) 기반 고해상도 영상,인공지능과 같은 최신 기술이 발전하면서 습지의 유형 분류와 변화 탐지의 정확도가 비약적으로 향상되고 있다(DeLancey et al., 2019; Jafarzadeh et al., 2022). 특히 딥러닝 기반의 이미지 분할 모델 중 U-Net은 영상 내 공간 정보를 효과적으로 추출할 수 있도록 설계된 인코더-디코더(Encoder-Decoder) 구조를 갖추고 있어 다양한 분류 작업에 널리 활용되고 있다(Ronneberger et al., 2015). 그러나 기본적인 U-Net 구조만으로는 고해상도 영상에서 나타나는 습지의 복잡한 공간 특성과 전역적인 문맥 정보 및 장거리 의존성을 반영하는데 한계가 있다. 이를 극복하기 위해 최근에는 잔차 연결을 적용한 ResU-Net 모델이나 자기 주의 기법을 적용한 Attention U-Net과 같은 변형 모델들이 활발히 연구되고 있다(Zhang et al., 2018; Onojeghuo and Onojeghuo, 2023). 나아가 최근에는 Transformer 구조를 도입한 TransUNet 모델이 등장하면서, 영상 내 픽셀 간의 전역적 상호작용을 더욱 효과적으로 학습하여 대규모 데이터에서도 더욱 향상된 분류 성능을 보여주고 있다(Chen et al., 2021).

이러한 딥러닝 모델이 우수한 분류 성능을 나타내기 위해서는 충분한 양의 데이터뿐만 아니라 클래스 간에 균형적으로 분포된 데이터가 필수적이다(Baek et al., 2022; Lee et al., 2023). 일반적으로 딥러닝 모델은 배치 단위로 데이터를 입력받아 손실함수를 통해 최적화를 수행하는데, 배치 내에서 특정 클래스의 데이터 비율이 낮으면 모델이 해당 클래스의 특징을 충분히 학습하지 못하여 분류 정확도가 저하되는 문제가 발생한다(Lin et al., 2017; Bing et al., 2022). 그러나 현실적으로 고해상도 습지 데이터를 수집할 경우 특정 클래스의 데이터가 매우 적거나 특정 지역에 편중되어 있어 불균형이 심화되는 경우가 많다(Nuradili et al., 2024; Wu et al., 2023). 이를 해결하기 위해 데이터 증강, 오버샘플링(Oversampling), 클래스 가중치등 다양한 방법들이 시도되고 있으나 기존의 데이터 증강 방법은 소수 클래스의 데이터 자체가 부족해 충분히 다양한 특성을 확보하기 어렵다는 한계가 있다(Yu et al., 2017). 또한 일반적인 오버샘플링 기법은 클래스 내부의 픽셀 분포를 세부적으로 고려하지 않고 단순히 데이터 수만 증가시키기 때문에, 오히려 새로운 분류 편향을 유발할 수 있다(Zada et al., 2022; Shorten and Khoshgoftaar, 2019).

이에 따라 본 연구에서는 내륙습지 데이터의 각 패치 내 클래스 비율에 따라 구간을 설정하고 구간별로 데이터 균형화를 수행하였다. 이를 통해 균형화된 데이터가 내륙습지의 다중 클래스 분류 성능 향상에 어떠한 영향을 미치는지 확인하고자 하였다. 데이터는 UAV로 촬영된 고해상도 내륙습지 Artificial Intelligence (AI) 데이터셋을 활용하였으며, 균형화 처리 전 원본 데이터와 균형화 처리 후 데이터를 독립적으로 TransUNet 모델에 적용하여 성능을 비교 평가하였다. 본 연구에서 제안한 데이터 균형화 기법은 내륙습지 분류뿐 아니라 다양한 원격탐사 기반의 다중 클래스 분류 문제에서도 효과적으로 활용될 수 있을 것으로 기대된다.

2. 연구 자료

Table 1은 본 연구에서 활용한 연구 데이터에 대한 주요 정보를 나타낸다. 본 연구에서 활용한 데이터는 한국지능정보사회진흥원(NIA)의 AI-Hub에서 공개한 금강 유역의 내륙습지 데이터셋을 활용하여 수행하였다(AI Hub, 2025). 본 데이터셋은 10 cm 공간해상도를 지닌 드론 영상으로, Red, Green, Blue 3개 채널로 구성되어 있으며, 512 × 512 픽셀 크기의 패치 단위로 분할되어 제공된다. 또한, 제공된 드론 촬영시기는 습지의 계절적 특성과 기상 조건에 따른 내륙습지 영역의 변화 특성을 반영하기 위해 2023~2024년에 대해 갈수기(5, 6월)와 풍수기(7, 8월)에 걸쳐 촬영되었다. 갈수기에는 수위가 낮아지면서 나지, 초본, 목본 영역과 같은 내륙 습지 영역이 증가하는 반면 수체 영역은 감소하는 반면에 풍수기에는 수위가 높아지며 내륙 습지이 감소하고 수체 영역은 증가하는 계절적 특성이 나타난다.

Table 1. Data specification for this study

최종적으로 제공되는 데이터는 총 21,302쌍의 RGB 입력 데이터와 내륙습지 유형으로 분류된 라벨 데이터로 구성되었으며, 습지의 생태적 특성과 탄소흡수원으로서의 중요성을 고려하여 초본우점, 목본우점, 수체, 나지, 비대상지의 5가지 클래스로 라벨링(Labeling) 되어있다. 클래스 분류 시, 일관성과 정확도를 확보하기 위해 기존의 습지 분류 사례에 따라 각 클래스의 최소 면적 기준을 30 × 30 픽셀 이상으로 설정하였다. 이러한 기준을 설정함으로써 모델이 충분히 학습된 경우, 라벨 데이터에 포함되지 않은 최소 면적 이하의 영역도 실제 클래스로 탐지될 가능성이 있으며 이는 최종적인 모델 분류 성능에 영향을 미칠 수 있다.

최종적으로 구축된 데이터의 클래스별 분포는 초본우점이 40.18%, 수체가 46.04%로 대부분을 차지한 반면, 목본우점 8.96%, 나지 2.70%, 비대상지 2.11% 클래스의 비율은 상대적으로 낮게 나타났다. 이러한 클래스 간 불균형은 일반적으로 딥러닝 모델이 학습할 때 성능 편향을 유발하는 원인이 된다(Baek et al., 2022; Johnson and Khoshgoftaar, 2019).

3. 연구 방법

본 연구의 전체적인 연구 방법은 Fig. 1에 나타낸 바와 같이 총 네 단계로 수행하였다. 먼저, 학습데이터와 테스트데이터를 무작위하고 독립적으로 구분하였다. 이후, 클래스 불균형 문제를 완화하기 위해 학습데이터와 테스트데이터에 각각 데이터 균형화 기법을 적용하였다. 다음으로, 원본 데이터와 데이터 균형화 기법을 적용한 데이터를 각각 TransUNet을 활용하여 학습하였으며 마지막으로 각 모델의 성능을 비교·분석하였다. 각 단계의 보다 자세한 설명은 다음 절에서 상세히 기술한다.

Fig. 1. Overall data flow of this study.

3.1. 데이터 균형화(Data Balancing)

딥러닝 모델은 일반적으로 학습 데이터를 미니 배치(Batch) 단위로 입력받아 손실 함수를 최소화하는 방향으로 모델의 파라미터(Parameter)를 최적화한다. 본 연구는 내륙습지 데이터의 다중 클래스 분류를 수행하기 위해 Sparse Categorical Crossentropy 손실함수를 활용하였다. 이 손실함수는 정수형 클래스 라벨을 입력받아 손실을 계산하므로 학습 효율성과 학습 안정성이 높다. 그러나 해당 손실함수는 클래스 분포가 불균형할 때 손실 값이 다수 클래스에 과도하게 집중되어 소수 클래스의 학습 효과가 떨어지는 한계가 있다(Lin et al., 2017; Bing et al., 2022).

내륙습지 데이터의 경우, 실제 환경에서 특정 내륙습지 클래스가 다른 클래스에 비해 현저히 적게 분포하는 경우가 많다. 이를 단순히 데이터 증강의 방법으로 전체적인 데이터 양만 늘려 학습할 경우 클래스별 분포는 해결되지 않는다. 따라서 본 연구에서는 딥러닝 모델 학습 시 발생할 수 있는 클래스 간 데이터 불균형 문제를 완화할 수 있는 데이터 균형화 기법을 설계하고 적용하였다. 특히 각 클래스의 데이터 분포를 분석하여, 클래스 내에서도 픽셀 비율에 따라 구간을 구분함으로써 세부적인 데이터 불균형 문제까지 해결하고자 하였다(Cabezas et al., 2020).

Fig. 2는 본 연구에서 제안하는 데이터 균형화 과정의 흐름을 단계적으로 나타낸다. 먼저, 모델의 학습과 평가 데이터의 독립성을 확보하기 위해 원본 데이터를 겹치지 않게 무작위로 학습 데이터 19,170개와 테스트 데이터 2,132개로 나누었다. 이후 각 데이터 패치에 포함된 클래스별 픽셀 수를 계산하여 각 패치의 클래스별 픽셀 비율을 산정하였다. 그 후, 클래스별 픽셀 비율의 최대값과 최소값을 확인하고 이 범위를 일정한 간격으로 나누어 각 클래스를 구간을 설정할 수 있다. 이 때, 구간의 수를 너무 크게 설정하면 데이터가 지나치가 세분화 되어 특정 구간에서 데이터가 부족할 수 있기 때문에 적절하게 구분할 필요가 있다. 본 연구에서는 각 클래스별 픽셀 비율 분포를 바탕으로 각 클래스를 Low, Medium, High의 세 가지 구간으로 나누어 클래스 내에서도 존재하는 세부적인 데이터 불균형을 해소할 수 있도록 하였다.

Fig. 2. Data balancing procedure adopted in this study.

다음으로, 각 구간에 할당된 샘플링 개수는 전체 데이터셋의 크기를 균형화가 필요한 클래 스 수로 나누어 설정하였다. 데이터 수가 적은 구간에 대해서는 데이터 오버샘플링을 수행하여 패치 수를 증가시켰으며, 데이터가 많은 구간의 경우 할당된 패치 개수로 언더샘플링을 적용하였다. 특히 클래스 간 균형화는 클래스 별로 독립적으로 진행되었기 때문에, 특정 클래스에서 언더샘플링(Undersampling)으로 제외된 패치가 다른 클래스의 오버샘플링 과정에서 다시 포함될 수 있어 전체 데이터셋의 관점에서 정보 손실이 최소화 되도록 하였다. 최종적으로 각 클래스와 클래스 내 세부 구간별 데이터 분포가 균형있게 재구성된 학습 및 테스트 데이터셋을 구축하였다. 이와 제안된 세부적인 데이터 균형화 과정을 통해 TransUNet 모델은 클래스 간 및 클래스 내 데이터 불균형 문제를 해소하여 특정 클래스에 편향된 학습을 방지하고, 다중 클래스 분류 성능을 향상시킬 수 있도록 하였다.

3.2. TransUNet 모델 설계

내륙습지 AI 데이터셋은 약 20,000장에 달하는 대규모 데이터를 효과적으로 학습하기 위해 TransUNet 모델을 채택하였다. TransUNet은 Convolutional Neural Network (CNN)의 국소적 특징 추출 능력과 Transformer의 전역적 문맥 이해 능력을 결합한 하이브리드 구조로, 복잡한 패턴과 다양한 데이터 특성을 효과적으로 학습할 수 있다. 일반적으로 사용되는 CNN 기반의 U-Net 모델은 영상의 세부적인 지역적 특성을 잘 포착하지만 장거리 의존성을 이해하는 데에는 한계가 있다. 이에 비해 TransUNet은 Transformer 기반 구조를 활용하여 영상 내 픽셀 간 전역적인 관계를 모델링함으로써 이러한 한계를 극복할 수 있다(Chen et al., 2021).

Fig. 3은 본 연구에서 설계한 TransUNet의 상세한 구조를 나타낸 것으로, 크게 (a) 인코더, (b) 디코더, (c) Transformer 기반의 Trans Layer로 구성된다. 먼저, Fig. 3(a)의 인코더는 입력된 512 × 512 픽셀 크기의 RGB 드론 영상을 처리하여 계층적으로 세부적인 국소 특성을 추출하는 단계이다. 이 과정은 총 4단계로 이루어진 다운샘플링을 거치는데, 각 단계마다 두 개의 연속된 컨볼루션 레이어(Convolutional Layer)와 Batch Normalization 및 ReLU 활성화 함수가 적용된다. 단계가 진행될수록 특성 맵의 공간적 해상도는 256 × 256에서 32 × 32까지 절반씩 감소하고 채널 수는 단계적으로 증가하여 32, 64, 128, 256으로 확장된다. 마지막 단계에서는 32 × 32 픽셀 크기의 512 채널 고차원 특성 맵이 생성된다. 이와 같이 생성된 인코더의 최종 특성 맵은 Transformer 구조를 기반으로 설계된 Trans Layer로 전달된다(Fig. 3c).

Fig. 3. TransUNet structure used in this study. (a) Encoder, (b) Decoder, and (c) Transformer layer structure.

Trans Layer는 12개의 연속된 Transformer 블록으로 구성되어 있으며, CNN 기반의 인코더로부터 전달받은 국소적 특성 맵을 입력으로 받아 전역적인 공간 문맥 정보를 학습한다. 이를 위해 먼저 CNN으로부터 출력된 최종 특성 맵을 일정 크기의 패치 단위로 나눈 후, 각 패치를 1차원의 임베딩 시퀀스로 재구성하여 Transformer 블록의 입력으로 사용한다. 이 때, 각 패치의 공간적 위치 정보를 반영하기 위해 위치 임베딩을 적용한다. 다음으로 임베딩된 벡터에 Layer Normalization을 적용하여 데이터의 분포를 안정화한 뒤, Multi-Head Self-Attention (MSA) 과정을 통해 영상 내 패치 간의 상호작용을 전역적으로 학습한다. 이 과정을 통해 CNN 구조만으로는 충분히 반영하기 어려운 장거리 공간 의존성을 효과적으로 학습 할 수 있으며, MSA로 얻어진 결과는 Residual Connection을 통해 이전 입력과 통합되어 모델 학습의 안정성을 향상시킨다. 이후 다시 한번 Layer Normalization을 적용하고, 두 개의 Dense 레이어를 적용하였다. 첫번째 Dense 레이어는 임베딩 차원을 확장하여 더욱 복잡한 표현을 가능하게 하고, 두 번째 Dense 레이어에서는 이를 다시 원래의 차원으로 압축하여 효율성을 유지하며, 이 과정의 결과 또한 Residual Connection을 통해 앞 단계와 결합하여 블록 내에서 안정적인 정보 흐름을 유지한다. 이 모든 과정을 거친 Trans Layer의 출력은 다시 2차원의 공간적 특성 맵으로 복원되어 디코더로 전달된다.

마지막으로 Fig. 3(b)는 Trans Layer에서 전달된 전역적 특징과 인코더 단계의 국소적 세부 정보를 통합하여 최종 분류 결과를 복원하는 단계이다. 디코더는 인코더의 역순으로 총 4단계의 업샘플링 과정을 거친다. 각 업샘플링 단계에서는 공간 해상도를 두 배씩 증가시키며, 단계적으로 256, 128, 64, 32와 같이 채널 수를 절반씩 감소시킨다. 이 과정에서 인코더에서 생성된 같은 해상도의 특성 맵과 Skip-Connection을 통해 결합함으로써 공간적 세부 정보를 보존한다. 최종적으로 디코더의 마지막 레이어는 1 × 1 컨볼루션과 Softmax 활성화 함수를 통해 각 픽셀을 초본, 목본, 수체, 나지, 비대상지의 총 5가지 클래스로 분류하여 512 × 512픽셀 크기의 정밀한 분류 결과를 생성한다.

Table 2는 모델 학습 과정에서 적용된 주요 하이퍼파라미터(Hyper Parameter)의 값을 나타낸다. 손실함수로는 Sparse Categorical Crossentropy를 사용하고, 모델 최적화 함수로는 Adam을 채택하였다. 초기 학습률은 0.0001로 설정하였으며, 미니배치 크기는 10, 총 학습 에포크(epoch)는 600회로 설정하여 충분한 학습이 이루어지도록 하였다. 모든 모델 파라미터의 초기화는 He Normal 방식을 사용하여 학습 안정성을 높였다.

Table 2. The hyperparameters of TransUNet trained by original and balanced data

3.3. 모델 성능 평가 지표

내륙습지의 다중 클래스 분류 성능을 정량적으로 평가하고 비교하기 위해 픽셀 정확도, 정밀도, 재현율, F1-score 그리고 Precision-Recall Curve (PR-Curve) 및 Average Precision (AP) 지표를 사용하였다(Yu et al., 2021; Lee and Jung, 2023; Choi et al., 2024; Gong et al., 2023). 픽셀 정확도는 전체 픽셀 중에서 모델이 올바르게 예측한 픽셀의 비율을 나타내며, 일반적으로 모델의 전반적인 성능을 평가하는 데 사용된다. 그러나 데이터 내 클래스 불균형이 심할 경우 성능이 편향되는 한계가 있다. 이에 본 연구에서는 픽셀 정확도의 단점을 보완하고 클래스별 성능을 분석하기 위해 정밀도, 재현율, F1-score를 추가로 활용하였다. 정밀도는 특정 클래스로 예측된 픽셀 중 실제로도 그 클래스에 속하는 픽셀의 비율을 의미하고, 재현율은 실제 특정 클래스에 속한 픽셀 중에서 모델이 정확하게 탐지한 픽셀의 비율을 의미한다. F1-score는 정밀도와 재현율의 조화 평균값이며, 특히 데이터가 불균형할 때 클래스별 모델 성능을 종합적으로 평가할 수 있다. 또한 정밀도와 재현율을 단일 수치로 결합하면 특정 임계값에서만의 성능을 반영하게 되어 자료 해석에 편향이 발생할 수 있다(Kim et al., 2020). 이에 추가적으로 PR-Curve와 AP 지표를 함께 활용하였다(Baek et al., 2021). PR-Curve는 다양한 예측 임계값에 따라 정밀도와 재현율의 관계의 변화를 곡선 형태로 표현한 지표이며, AP는 PR-Curve 아래의 면적을 계산한 값으로, 해당 클래스에 대해 모델이 얼마나 안정적이고 일관되게 탐지할 수 있는지를 하나의 숫자로 나타낸다. AP 값이 높을수록 다양한 임계값에 걸쳐 안정적이고 신뢰할 수 있는 탐지 성능을 의미한다(Flach and Kull, 2015).

4. 연구 결과

먼저, 데이터 균형화 기법을 적용하기 위해 클래스별 픽셀 분포를 분석하였다. 초본 우점 클래스와 수체 클래스가 전체 데이터셋에서 각각 40.18%와 46.04%를 차지하여 전체의 86% 이상을 차지한다. 해당 클래스들은 이미 충분한 양의 학습 데이터를 포함하고 있으며, 대부분의 패치에서도 픽셀 비율이 높아 추가적인 데이터 균형화 처리가 불필요하다. 따라서 본 연구에서는 상대적으로 픽셀 비율이 낮아 모델의 학습이 어려운 비대상지, 목본 우점, 나지 클래스에 대해서만 별도의 균형화 처리를 수행하였다.

Table 3은 데이터 균형화를 수행하기 위해 패치 내 픽셀 비율을 계산하고, 이를 기반으로 Low, Medium, High의 총 3개 구간으로 세부적으로 구분한 결과이다. 클래스 내에서 픽셀 비율의 분포가 패치마다 큰 편차를 보이기 때문에 이를 효과적으로 완화하고, 보다 균형적인 데이터 분포를 확보하고자 세부 구간을 설정하였다. 비대상지 클래스의 최대 픽셀 비율은 학습 데이터셋에서 0.793, 테스트 데이터셋에서 0.894였으며, 목본 우점 클래스는 각각 최대 0.930과 0.978, 나지 클래스는 각각 최대 0.981과 0.984의 비율을 보였다. 이를 기반으로 각 클래스의 최대 픽셀 비율을 동일한 간격으로 3등분하여 Low, Medium, High의 세 구간으로 설정하였다.

Table 3. Intervals (Low, Medium, High) of pixel ratios within patches calculated for each class to perform data balancing for training and test datasets

Table 4는 클래스별로 설정된 각 간격 Interval마다 데이터 균형화 처리 전후의 학습과 테스트 데이터셋에서의 패치 수 변화를 나타낸다. 균형화 처리 전 원본 데이터셋에서 비대상지 클래스는 학습 데이터 셋의 Low 구간 패치 수가 18,756개로 Medium 구간 344개, High 구간 70개에 비해 압도적으로 많았다. 목본 우점과 나지 클래스 역시 Low 구간 대비 Medium 및 High 구간의 패치 수가 매우 적어 클래스 내에서 심각한 불균형이 존재하였다. 이에 본 연구에서는 클래스별로 설정된 구간의 평균 패치 수를 기준으로 오버샘플링과 언더샘플링을 동시에 수행하여 각 구간의 패치 수를 균등하게 맞추었다.

Table 4. Comparison of the number of image patches before (Original) and after (Balanced) data according to intervals (Low, Medium, High) for each class in the training and test datasets

그 결과, 각 구간별로 학습 데이터셋과 테스트 데이터셋에서 각각 6,390개, 711개의 패치로 균등하게 조정되어 데이터의 분포가 균형있게 개선되었다. 이 과정에서 특정 클래스의 픽셀 비율이 Low 구간에서는 평균 패치 수를 맞추기 위해 일부 패치가 언더샘플링을 통해 제거되었으나, 제거된 패치가 다른 클래스의 오버샘플링 과정에서 다시 포함되는 구조를 가지고 있어 데이터셋의 정보 손실을 최소화하도록 하였다.

이러한 균형화 처리를 통해 학습 데이터셋의 전체 패치 수는 기존의 19,170개에서 57,510개로 증가하였으며, 클래스 간 데이터 분포뿐만 아니라 클래스 내 픽셀 비율 구간 간에도 균일한 데이터 분포를 확보하였다. 또한, 테스트 데이터셋에도 동일한 데이터 균형화 기법을 적용하여 클래스 간 및 구간 간 데이터 분포의 편차를 최소화함으로써, 모델 평가 시 데이터 불균형으로 인한 편향 가능성을 완화하였다.

Table 5는 데이터 균형화 처리 전후 학습 데이터셋과 테스트 데이터셋의 전체 클래스별 비율을 나타낸다. 균형화 처리 전 학습 및 테스트 데이터셋에서는 수체 클래스와 초본 우점 클래스가 각각 46.01%, 40.28%, 46.33%, 39.26%로 대부분을 차지하였다. 반면 비대상지는 약 2%, 목본 우점 약 9%, 나지 약 3% 클래스는 상대적으로 매우 낮은 비율을 나타냈다. 그러나 균형화 처리 후에는 소수 클래스였던 비대상지 클래스가 약 13%, 목본 우점 클래스가 약 17%, 나지 클래스가 약 16%로 비율이 현저히 증가한 반면, 기존 비율이 높았던 수체 클래스 약 26%와 초본 우점 클래스 약 28%는 상대적으로 비율이 감소함으로써 데이터의 분표 편차가 완화된 것을 확인할 수 있다. 이와 같이 균형화 기법 적용된 데이터로 학습한 모델과 원본 데이터를 활용하여 학습한 모델의 성능을 비교함으로써 데이터 균형화 기법이 실제 모델의 다중 클래스 분류 성능에 미치는 영향을 명확히 평가할 수 있도록 하였다.

Table 5. Comparison of class ratio before (Original) and after (Balanced) data in the training and test datasets

Fig. 4는 시험 데이터를 활용하여 TransUNet 모델의 다중 클래스 분류 결과를 정성적으로 나타낸다. Figs. 4(a1–e1)와 (a2–e2)는 각각 테스트 데이터의 입력데이터인 RGB와 라벨 데이터를 나타내며, Figs. 4(a3–e3)과 Fig. 4(a4–e4)는 각각 원본 데이터를 활용하여 학습한 TransUNet 모델과 데이터 균형화 기법을 적용한 데이터로부터 학습한 TransUNet 모델의 예측 결과를 나타낸다. 동일한 구조의 모델을 활용했음에도 불구하고 데이터 균형화 기법 적용에 따라 세부적인 분류 결과의 정확도가 상이한 것을 확인할 수 있었다.

Fig. 4. Predicted Inland wetland maps: (a1–e1) RGB maps, (a2–e2) label data, (a3–e3) predicted Inland wetland maps using TransUNet, and (a4–e4) predicted Inland wetland maps using TransUNet trained by balanced data.

Fig. 4(a)의 흰색 박스 내에서 (I)은 비대상지 영역을, (II)는 목본 우점 영역을 나타낸다. 원본 데이터를 이용한 모델(a3)은 비대상지 영역(I)을 주변 초본 클래스와 혼동하여 제대로 탐지하지 못했으며, 목본 우점 영역(II)을 초본으로 오분류하였다. 이는 두 클래스 모두 원본 데이터에서 픽셀 비율이 낮아 충분한 학습 데이터가 확보되지 못해 모델이 각 클래스의 특성을 충분히 학습하지 못한 결과로 판단된다. 반면 데이터 균형화 기법을 적용한 모델(a4)은 보완된 데이터를 통해 비대상지(I)와 목본(II)의 경계를 명확히 구분하였다.

Fig. 4(b)의 흰색 박스는 나지 영역이다. 원본 데이터를 이용한 모델(b3)은 나지를 초본으로 오분류한 반면, 데이터 균형화 기법을 적용한 모델(b4)은 나지 영역의 형태와 경계를 보다 정확하게 탐지하였다. 이는 나지 클래스가 전체 데이터셋에서 차지하는 픽셀 비율이 매우 낮아 원본 데이터만 활용한 모델이 충분히 학습하지 못한 반면, 데이터 균형화를 통해 모델이 전체 클래스에 대해 균등하게 학습했기 때문으로 판단된다. 한편, 픽셀 비율이 상대적으로 높은 수체와 초본 우점 클래스는 두 모델 모두 일관되게 정확히 탐지한 것을 확인할 수 있다.

Fig. 4(c)의 흰색 박스는 나지 영역을 나타낸다. 원본 데이터를 이용한 모델(c3)은 이 영역을 초본 우점과 일부 수체로 잘못 탐지했으나, 데이터 균형화를 수행한 모델(c4)은 나지 영역의 경계와 형태를 보다 명확하게 구분하였다.

Fig. 4(d)의 흰색 박스 내 (I)은 비대상지 영역을,(II)는 목본 우점 영역을 나타낸다. 원본 데이터 기반 모델(d3)은 두 클래스 모두 픽셀 비율이 낮아 초본 및 수체로 오분류하였다. 반면 데이터 균형화를 수행한 모델(d4)은 비대상지(I)와 목본(II)의 경계를 비교적 정확히 탐지한 것을 확인할 수 있다.

Fig. 4(e)의 흰색 박스에서 (I)은 목본 영역을, (II)는 초본 우점 영역을 나타낸다. 원본 데이터 기반 모델(e3)은 그림자 영향으로 초본 영역(II)을 비대상지로 오분류하였다. 그러나 데이터 균형화 기법을 적용한 모델(e4)은 해당 그림자 영역을 초본으로 탐지했을 뿐만 아니라, 라벨링 기준에 미달하여 라벨되지 않았던 일부 목본 영역(I)까지 추가적으로 정확히 탐지하였다. 이는 데이터 균형화를 통해 확보된 추가적인 데이터가 목본 클래스 학습을 강화하여 모델의 일반화 성능을 향상시켜 라벨 데이터에서 반영되지 못한 실제 영역까지도 탐지한 것으로 판단된다. 이러한 결과를 바탕으로, 데이터 균형화 처리를 통해 데이터의 픽셀 비율이 낮은 클래스의 탐지 정확도가 크게 향상된 것을을 확인할 수 있었다.

Table 6은 내륙습지 다중 클래스 분류를 위한 두 딥러닝 모델의 픽셀정확도(Pixel Accuracy),정밀도(Precision),재현율(Recall), F1-score 등의 정량적인 성능 평가 결과를 나타낸다. 두 모델의 전체 픽셀 정확도는 원본 데이터를 활용한 모델과 균형화 기법을 적용한 모델이 각각 0.979, 0.981로 나타났으며 데이터 균형화를 통해 약간의 성능 향상이 있었다. 픽셀 정확도는 모델의 전반적인 분류 정확성을 직관적으로 평가하는 지표이지만, 데이터 불균형 환경에서는 다수 클래스의 성능에 지나치게 편향될 수 있는 한계를 가진다. 이에 따라 보다 세부적인 클래스별 성능 평가를 위해 정밀도, 재현율 및 F1-score를 추가적으로 활용하여 분석하였다.

Table 6. Quantitative evaluation results of inland wetland segmentation performance using TransUNet models trained with original and balanced datasets

원본 데이터를 활용한 모델에서의 클래스별 F1-score는 비대상지, 초본우점, 목본우점, 나지에 대해 각각 0.849, 0.945, 0.878, 0.985, 0.769로 나타났다. 반면 데이터 균형화 처리를 적용한 모델에서는 각각 0.862, 0.951, 0.889, 0.985, 0.796로 나타났으며 모든 클래스에서 데이터 균형화 기법 적용 이후 분류 성능이 개선된 것을 확인할 수 있었다. 특히 픽셀 비율이 가장 낮았던 나지 클래스의 경우 원본 데이터 모델에서 F1-score는 0.769로 가장 낮은 성능을 나타냈다. 그러나 데이터 균형화 이후 나지 클래스의 정밀도는 F1-score는 0.796으로 0.027 개선되었다. 그 외에도 낮은 비율을 지닌 비대상지와 목본 클래스 또한 데이터 균형화 이후 F1-score가 각각 0.013, 0.011의 성능이 향상된 것을 확인할 수 있었다. 반면에 수체 클래스의 경우, 균형화 전후의 F1-score가 0.985 거의 유사하게 나타났다. 이는 수체 클래스가 원본 데이터셋에서 이미 높은 픽셀 비율과 비교적 균일한 패치 내 분포를 보였기 때문으로 판단된다. 초본 클래스의 경우에도 원본 데이터셋 내 높은 비율로 인해 이미 높은 성능을 보였으나, 균형화 처리 이후 F1-score가 0.945에서 0.951로 약간 향상된 것을 확인할 수 있다.

본 연구에서 활용한 내륙습지 데이터는 클래스 간 불균형이 심했기 때문에, 클래스별로 모델의 성능 편차가 클 것으로 예상되었다. 실제로 원본 데이터만 활용한 모델의 경우, 가장 높은 성능을 나타낸 수체 클래스와 가장 낮은 성능을 나타낸 나지 클래스 간의 F1-score 차이는 0.216이었다. 반면 데이터 균형화를 적용한 이후에는 두 클래스 간의 성능 차이가 0.188로 감소하여, 데이터 균형화 처리가 클래스 간 성능 편차를 완화하는데 효과적인 방법임을 확인할 수 있었다. 그러나 전반적인 성능 향상의 폭은 예상보다 크지 않았는데, 이는 원본 데이터 기반의 모델이 이미 전체적으로 높은 분류 성능을 보였기 때문이다. 이러한 높은 초기 성능은 내륙습지 데이터셋이 충분히 대규모로 구축되었고, 국소적 특징 추출과 전역적 문맥 정보를 효과적으로 학습할 수 있는 TransUNet 모델의 구조적 특성이 함께 작용한 결과로 판단된다.

Figs.5(a,b)는 시험 데이터를 대상으로 원본 데이터 기반의 TransUNet 모델과 데이터 균형화 처리 기반의 TransUNet 모델의 클래스별 PRCurve와 AP값을 나타낸다. 두 모델의 평균 정밀도는 원본 데이터 모델에서 0.939, 균형화 처리 모델에서 0.953으로 나타나 데이터 균형화를 통해 전반적인 모델 성능이 향상되었음을 확인할 수 있다. 세부적으로 비대상지, 초본 우점, 목본 우점, 수체, 나지 클래스의 평균 정밀도 향상 폭은 각각 0.023, 0.003, 0.009, 0.001, 0.032로 나타났다. 특히 픽셀 비율이 가장 낮았던 나지와 비대상지 클래스에서 상대적으로 큰 성능 개선이 있었으며, 이는 데이터 균형화 과정을 통해 부족했던 클래스의 학습 데이터를 추가로 확보했기 때문인 것으로 분석된다. 반면, 원본 데이터에서 이미 충분한 픽셀 비율을 차지했던 초본 우점과 수체 클래스의 성능 향상은 상대적으로 미미하였다.

Fig. 5. Precision-recall curves and Average Precision (AP) for each class using (a) Original and (b) Balanced dataset trained by the TransUNet model.

이러한 결과는 본 연구에서 적용한 데이터 균형화 기법이 내륙습지와 같은 다중 클래스 분류 문제에서 클래스 간 성능 편차를 완화하고, 특히 데이터 비율이 낮은 소수 클래스의 분류 성능을 향상시키는 것을 확인할 수 있었다. 그러나 데이터 균형화를 적용한 이후에도 나지 클래스의 평균 정밀도는 다른 클래스에 비해 상대적으로 낮게 나타났다. 나지 클래스는 강우 및 수위 변화에 따라 토양 수분이나 잔존 식생의 상태가 빠르고 복잡하게 변화하여 영상 특성이 다양하게 나타날 수 있으며, 주변 초본 및 목본 클래스와 스펙트럼 반사 특성이 유사하여 정확한 분류가 상대적으로 어렵다(Myers et al., 2024; Delaney et al., 2025). 본 연구에서는 갈수기와 풍수기 데이터를 활용하여 이러한 변화를 반영하고자 했으나, 동일 시기 내에서도 강우 직후와 같은 특정 환경 조건에 대한 추가적인 자료가 적절히 확보되지 못해 나지 클래스의 분류 성능이 미미한 것으로 판단된다.

따라서 향후 연구에서는 보다 다양한 계절적·시기적 변화를 반영하고 다양한 기상 조건을 포함한 데이터를 추가적으로 확보할 필요가 있다. 또한 공간적 특성이 다른 여러 연구 지역에서의 데이터를 추가 구축하여 데이터 다양성을 확보하는 것도 중요하다. 데이터 균형화 기법 측면에서도 클래스 픽셀 비율의 구간을 더욱 세분화하거나 각 구간의 데이터 개수를 평균값 대신 최댓값 기준으로 설정하는 방식을 시도해볼 필요가 있다. 더 나아가 데이터 증강 기법을 적극적으로 활용하여 부족한 클래스의 데이터 다양성을 높인다면, 더욱 효과적이고 일반화된 내륙습지 다중 클래스 분류 모델의 개발이 가능할 것으로 기대된다.

5. 결론

본 연구에서는 데이터 균형화 기법을 적용하여 클래스 불균형 문제를 완화하고 다중 클래스 분류 성능을 향상시키기 위해, 드론 기반의 고해상도 내륙습지 데이터셋을 활용하였다. 클래스 내 픽셀 비율을 세부적으로 분석하여 데이터 균형화를 수행하였으며, 이를 TransUNet 모델에 학습하고 성능을 정성적 및 정량적으로 비교·평가하였다. 본 연구의 주요 결론은 다음과 같다.

먼저, 데이터 균형화를 위해 각 습지 클래스 내 픽셀 비율을 분석하여 Low, Medium, High의 세 가지 구간으로 세부적으로 나누었으며, 각 구간의 평균 패치 수를 기준으로 오버샘플링 및 언더샘플링을 수행하여 클래스 간 및 클래스 내 균형이 이루어진 데이터셋을 구축하였다. 이를 통해 상대적으로 데이터가 부족했던 비대상지, 목본우점, 나지 클래스의 데이터를 다른 클래스와 균일하게 보완할 수 있었다.

다음으로, 구축된 균형화 데이터와 원본 데이터를 TransUNet 모델에 각각 적용하여 다중 클래스 분류 성능을 비교하였다. 정량적 평가 결과, 균형화 처리를 수행한 모델은 원본 데이터를 활용한 모델 대비 클래스별 F1-score 지표에서 비대상지, 목본우점, 나지 클래스에 대해서 각각 0.013, 0.011, 0.027과 같이 성능이 향상된 것을 확인할 수 있었다. 또한 정성적 평가에서는 균형화 데이터를 적용한 모델이 클래스 간의 경계를 더욱 명확히 구분하고, 패치 내의 세부적인 문맥 정보를 정확히 탐지하는 등 일관된 성능 개선 효과를 확인할 수 있었다.

그러나 데이터 균형화를 수행한 이후에도 나지 클래스의 분류 성능은 다른 클래스들에 비해 여전히 낮은 수준을 나타냈다. 이는 나지 클래스가 계절 변화 및 강우와 같은 기상 조건의 영향을 크게 받아 시기별로 면적과 형상이 급격하게 변하기 때문에, 학습 데이터가 데이터의 다양성과 복잡성을 충분히 반영하지 못했을 것으로 판단된다.

따라서 향후 연구에서는 픽셀 비율을 나누는 구간을 더욱 세밀하게 설정하거나, 평균값 대신 최댓값을 기준으로 더 많은 데이터를 확보하는 추가적인 데이터 균형화 방법이 필요할 것으로 보인다. 또한, 클래스 내 데이터의 다양성과 복잡성을 높이기 위해 다양한 데이터 증강 기법을 적극적으로 활용하면 다중 클래스 분류 성능이 더욱 향상될 것으로 기대된다. 본 연구에서 제안한 데이터 균형화 기법은 단순히 내륙습지 분류 연구뿐만 아니라 다양한 다중 클래스를 가진 데이터셋에도 효과적으로 적용될 것으로 기대한다.