Semantic Segmentation of Urbanized Areas Using Multi-Encoder U-Net Based on Multi-Modal Data

멀티모달 데이터를 활용한 Multi-Encoder U-Net 기반 시가화 지역의 의미론적 분할

Abstract

Air pollution has emerged as a critical global environmental issue, posing severe threats to human health and ecosystems worldwide. In East Asia, rapid urbanization, industrialization, and transboundary inflow of air pollutants from neighboring countries have further exacerbated air quality deterioration. The Korean Peninsula, in particular, frequently experiences severe air pollution events due to the combined influence of domestically emitted pollutants and those transported from China via prevailing westerlies. This complex situation necessitates quantitative assessment and effective mitigation strategies. However, conventional ground-based air quality monitoring networks are limited in their spatial coverage and thus insufficient for analyzing the relationship between urban expansion and air pollution on a regional scale. Furthermore, acquiring information on large-scale emission sources, both domestic and international, remains challenging due to constraints in accessibility and data security. To address these limitations, this study employed various remote sensing datasets in conjunction with artificial intelligence (AI) based semantic segmentation techniques to classify urbanized areas as major emission sources of air pollutants. The study focused on urban regions along China's Eastern Coast and South Korea. A multi-modal AI dataset was constructed by integrating Landsat 8/9 optical satellite imagery, Geostationary Environment Monitoring Spectrometer (GEMS) data, and ground-based air quality monitoring network data. For the deep learning application of the multi-modal data, a multi-encoder U-Net model was designed to evaluate the classification performance of urban areas based on multiple input sources. Experimental results demonstrated that the proposed multi-encoder U-Net model achieved a pixel accuracy of 0.9523 and an Intersection over Union (IoU) score of 0.8789, showing a slight improvement over the single-encoder U-Net model, which recorded a pixel accuracy of 0.9506 and an IoU of 0.8746. These findings highlight the enhanced performance gained through the integration of heterogeneous environmental data sources. The outcomes of this study are expected to serve as a quantitative foundation for long-term air quality monitoring and policy development.

전 세계적으로 대기오염은 인류의 건강과 생태계에 심각한 위협을 초래하는 범지구적 환경 문제로 대두되고 있으며, 동아시아 지역 또한 급속한 도시화와 산업화, 인접 국가로부터의 대기오염물질 유입으로 인해 대기질 악화 문제가 심화되고 있다. 특히, 한반도는 편서풍을 통해 중국으로부터 유입되는 대기오염물질 및 국내 배출 오염원이 복합적으로 작용하여 대기오염 문제가 빈번히 발생하고 있으며, 이에 따른 정량적 진단과 효과적인 대응이 필요한 상황이다. 그러나 기존 대기질 측정망은 지점 기반의 측정값만을 제공하기 때문에 도시 지역의 확산과 대기오염의 연관성을 광역적으로 분석하는 데에는 한계가 존재한다. 또한 국내외 대규모 대기오염 물질 배출원 정보 획득은 접근성과 보안 등으로 인해 어려움이 존재한다. 본 연구에서는 이러한 한계를 극복하기 위해 다양한 원격탐사 자료와 인공지능(arificial intelligence, AI) 기반의 의미론적 분할(semantic segmentation) 기법을 활용하여 대규모 대기오염물질의 배출원인 시가화 지역의 분류를 수행하였다. 이를 위해 중국 동부해안 도시지역과 남한지역을 연구지역으로 설정하여 Landsat 8/9 광학 위성영상, 정지궤도 환경위성(Geostationary Environment Monitoring Spectrometer, GEMS) 데이터, 그리고 지상 대기오염 측정망 데이터를 통합하여 멀티모달(multi-modal) AI 데이터셋을 구축하였다. 또한 멀티모달 데이터의 딥러닝 적용을 위해 다중 인코더 구조를 가지는 multi-encoder U-Net 모델을 설계하여 다중 입력자료에 기반한 시가지 분류 성능을 평가하였다. 본 연구의 결과 multi-encoder U-Net 모델의 성능은 픽셀 정확도가 0.9523, Intersection over Union (IoU)은 0.8789의 값이 도출되어 단일 인풋 U-Net 모델의 픽셀 정확도 0.9499와 IoU 0.8729에 비해 소폭 향상된 성능을 보였다. 본 연구의 결과는 향후 장기적인 대기환경 감시 및 정책 수립을 위한 정량적 근거로 활용될 수 있을 것으로 기대된다.

1. 서론

대기오염은 인간 활동으로 인해 대기에 축적된 오염 물질이 자연환경과 생태계에 부정적인 영향을 미치는 현상으로, 현대 사회에서 가장 시급한 환경 문제 중 하나로 부각되고 있다. 산업혁명 이후 전 세계는 급속한 경제 성장과 도시화를 겪으며 화석연료의 대규모 소비와 무분별한 자원 활용을 동반하였으며, 이는 심각한 대기오염 문제로 이어지고 있다(Jacobson, 2009; Jiang et al., 2013). 이로 인해 발생한 오염 물질은 인간 신체에 호흡기 질환, 심혈관계 문제와 같은 건강상의 위험을 증가시키는 것 뿐만 아니라 농업 생산성 감소, 생물 다양성 손실, 기후 변화 가속화와 같은 광범위한 환경적 영향을 초래하고 있다(Kampa and Castanas, 2008; Brauer et al., 2016).

한반도를 포함한 동아시아 지역은 지속적인 인구 증가와 경제 발전으로 인해 대량의 대기 오염물질이 발생하여 대기오염 문제가 심각한 사회문제로 대두되고 있다. 특히, 대한민국에서는 편서풍을 타고 중국에서 유입되는 미세먼지, 오존 등의 대기오염 물질과 국내에서 자체 배출된 오염물질이 상호 복합적으로 작용하여 고농도의 대기오염 물질이 발생하여 지속적인 피해가 발생하고 있다(Bae et al., 2020; Kim, 2021; Kumar et al., 2021). 도시 지역의 급속한 확장은 주로 농경지와 녹지의 대규모 전환과 에너지 소비 증가를 동반하며, 이러한 토지 이용 변화는 대기오염 물질 배출을 가속화하는 주요 원인으로 지목되고 있다. 특히, 중국의 도시 지역은 교통 수단의 증가와 공장 밀집으로 인해 PM2.5와 같은 대기오염 물질의 배출이 집중되고 있으며, 이는 중국 내 대기질뿐만 아니라 동아시아 전반에 걸쳐 광범위한 영향을 미치고 있다. 1990년에서 2010년 사이, 중국의 도시 면적은 약 두 배로 증가하였으며, 이 과정에서 발생한 대기오염 물질은 장거리 이동을 통해 국경을 넘어 주변 국가에 영향을 미쳤으며, 특히 계절적 기상 조건에 따라 그 영향력이 변화하는 것으로 나타났다(Wang et al., 2012; 2017). 이에 따라 한국에서는 중국을 포함한 주변국의 지속적인 대기질 현황의 모니터링을 통해, 대기질의 향후 변화 가능성을 예측하고 대응방안의 마련이 필요한 상황이다(Choi et el., 2019).

대기오염 물질의 이동 및 분포를 효과적으로 관리하기 위해서는 대기오염 물질 배출원에 대한 정확한 현황 파악과 지속적인 모니터링이 필수적이다. 배출원에 대한 탐지는 오염 물질의 주요 발생 경로를 규명하고, 이를 기반으로 정책적 대응을 최적화하기 위한 과학적 근거를 제공 할 수 있다. 하지만 국외 대기오염 물질의 배출원 정보 획득은 접근성과 보안 등으로 인해 어려움이 존재한다. 이러한 상황에서 위성 영상 자료 기반의 원격탐사기법은 접근이 어려운 지역이나 현상에 대한 정보를 효과적으로 획득하기 위해 사용될 수 있다. 위성영상은 관측 가능한 범위가 매우 넓기 때문에 중국과 같이 면적이 매우 넓은 지역의 대규모 대기오염 물질 배출원 탐지에 적합하며, 고해상도 광학위성 영상, 열적외선 영상, 환경위성 영상 등 다양한 위성영상 데이터를 활용하여 대기오염 물질 배출원 및 분포 특성을 분석하기 위한 연구가 활발히 수행되고 있다(Park et al., 2023, Yang et al., 2024).

위성영상을 활용한 도시 지역의 분류 및 토지피복 분류에 관한 연구는 Random Forest, Support Vector Machine (SVM) 등과 같은 전통적인 기계학습 기반의 분류 기법을 활용하여 연구가 수행된 바 있으며, 시가지를 포함한 도시 지역의 분류에서도 높은 정확도를 보여왔다. 하지만 이러한 기법들은 주로 픽셀 단위의 분류에 의존하기 때문에 공간적 맥락이나 주변 구조를 반영하는 데 한계가 있으며, 복잡한 도시 구조에서는 경계 구분 및 미세 패턴 인식에 취약한 경향이 있다. 이에 반해 딥러닝 기반의 의미론적 분할 기법은 시가지의 공간적 특성과 구조적 연속성을 효과적으로 학습할 수 있어,기존 방법보다 높은 분류 정확도와 경계 인식 성능을 나타내며 기존의 전통적인 분석 기법을 대체하거나 보완하고 있다(Boonpook et al., 2023; Neupane et al., 2021; Baek et al., 2024).

그러나 대부분의 도시 지역 분류에 관한 연구는 단일 영상 데이터, 특히 광학영상에만 기반하여 분류를 수행하였기 때문에, 대기질 정보나 지상관측값과 같은 다양한 환경 변수의 시공간적 특성을 반영하는 데에는 한계가 존재한다. 이에 따라, 본 연구에서는 광학영상 데이터에 추가적으로 환경위성자료, 지상관측자료를 입력자료로 함께 활용하여 시가화 지역을 분류하고, 이러한 멀티모달 데이터의 활용이 분류 성능 향상에 기여할 수 있는지 확인하고자 하였다. 이를 위해, 데이터 어노테이션을 통해 시가지분류 AI 데이터셋을 구축하였으며 딥러닝 분류 모델 학습 및 평가를 수행하였다. 다중 입력 자료의 성능 평가를 위하여 multi-encoder U-Net 구조를 설계하였으며, 성능 비교를 위해 단일 광학위성영상만을 활용한 single-encoder U-Net 모델과 비교를 수행하였다. 본 연구의 멀티모달 데이터 기반 시가지 분류 결과는 향후 광학영상의 한계점을 보완하면서, 시공간적 대기오염 특성을 반영한 대기오염 물질 배출원 탐지 기술의 고도화에 기여하고, 장기적인 대기환경 감시 및 정책 수립을 위한 정량적 근거로 활용될 수 있을 것으로 기대된다.

2. 연구 지역 및 자료

2.1. 연구 지역

본 연구의 연구지역은 중국의 베이징(Beijing), 톈진(Tianjin), 허베이성(Hebei), 산둥성(Shandong), 상하이(Shanghai), 저장성(Zhejiang), 장쑤성(Jiangsu) 일대와 남한을 포함하는 지역으로 선정하였다. 이들 지역은 중국 동부 연안과 남한에 걸쳐 있으며, 경제 및 산업 활동이 활발하여 대기오염 물질의 배출이 집중되는 곳으로 알려져 있다. 특히, 중국의 베이징, 텐진 허베이 지역은 북부 지역의 정치·경제 중심지로, 인구 밀집 및 산업화가 고농도의 대기오염 물질 발생에 기여하고 있다. 산둥성은 화학 공업과 발전소 밀집 지역으로, 이로 인한 오염물질의 배출과 확산이 빈번히 보고되고 있다. 상하이, 저장성, 장쑤성은 중국 동부 연안 경제지대(Eastern Coastal Economic Zone)의 중심으로, 제조업과 교통량 증가로 인한 배출원이 다수 존재하며, 대기오염 문제의 주요 원인으로 주목받고 있다(Tang et el., 2016; Zheng et al., 2017; 2019). Fig. 1은 본 연구의 대상지역으로 선정된 남한과 중국 7개 지역의 지리적 위치와 범위를 나타낸다.

Fig. 1. Study area.

2.2. 연구 자료

본 연구에서는 시가화지역 분류를 위한 AI 데이터셋 제작을 위해 Landsat 8/9 위성영상 자료, 정지궤도 환경위성(GEMS) 영상 자료, 대기오염측정망 오염물질 데이터를 수집하여 구축에 활용하였다. Landsat 위성은 미국 지질조사국(United States Geological Survey, USGS)에서 운용중인 위성으로 지표면의 피복, 식생, 수자원과 같은 지구 표면의 특징에 대한 정보를 제공하며 토지이용 및 토지피복 변화탐지, 자연 자원 관리, 산림 및 재해 대응 등 다양한 분야에서 널리 활용되고 있다(Roy et al., 2014). Landsat 8과 Landsat 9 위성영상은 각각 2013년 2월, 2021년 9월에 발사하여 현재까지 운용되고 있으며, 15 m, 30 m, 100 m의 공간해상도를 갖는 11개 파장대역으로 구성된 다중 분광 이미지를 제공한다. 본 연구에서는 방사보정, 기하보정 및 대기보정이 적용된 Landsat 8/9 위성영상의 Level 2 영상을 사용하였으며 Band 2, 3, 4, 5에 해당하는 30 m 공간해상도의 Blue, Red, Green, NIR 파장대역을 입력 데이터로 활용하였다(Table 1). 본 연구에서는 2023년과 2024년에 촬영된 한국 10장, 중국 45장의 총 55장의 Landsat 8/9 영상을 획득하여 사용하였으며, Table 2는 수집한 Landsat 위성영상의 촬영지역과 촬영년도에 대한 정보를 나타낸다.

Table 1. The wavelength and resolution of Landsat 8/9

Table 2. Details of Landsat 8/9 image acquisition for the study area

정지궤도환경위성(Geostationary Environment Monitoring Spectrometer, GEMS)은 2020년 발사되어 한반도를 포함한 동아시아 전역에 대하여 기후변화 유발물질 및 대기오염 물질의 시공관 관측을 위해 운용중인 세계 최초의 정지궤도 환경위성으로 본 연구에서 Landsat 8/9 위성과 함께 AI 데이터셋의 입력데이터로 활용하였다. GEMS는 대기 환경 관측에 있어 중요한 에어로졸(aerosol), 오존(O₃), 지표반사도, 구름정보, 이산화질소 등 다양한 산출물에 대한 정보를 제공하며, 이중 이산화질소는 화석연료에 의해 직접 배출되는 주요 대기 오염 물질로, 시가화 지역의 교통 및 산업 활동을 반영하는 데이터로 활용된다(Lamsal et al., 2008; Lee et al., 2024). 특히, 도시 지역은 계절별 난방 수요, 교통량, 산업활동의 변동 등에 따라 이산화질소의 농도가 달라지므로, 이러한 계절적 배출 특성을 반영할 수 있는 시계열 정보를 활용하고자 하였다. 본 연구에서는 3.5 × 8 km 해상도로 제공되는 GEMS Level 4 산출물 중 NO₂ 농도의 월평균 자료를 1월부터 12월까지 각각 하나의 밴드로 구성하여 총 12밴드 형태로 가공하였으며, 이를 Landsat 영상과 결합한 멀티모달 입력데이터로 구성하였다. 이러한 시계열 구조는 연중 농도 변화를 반영하여 시가화 지역의 계절적 배출 특성을 보완적으로 학습하는 데 기여하도록 설계되었다.

Landsat 8/9 위성영상, GEMS 위성영상과 함께 대기오염측정망 오염물질데이터를 획득하여 시가지 분류 AI 데이터셋의 입력데이터로 활용하였다. 대기오염측정망 오염물질데이터는 에어코리아에서 조회기간, 지역, 측정망, 측정소를 선택하여 획득할 수 있으며 본 연구에서는 도시지역의 대기오염 배출원과 밀접한 상관관계를 가지는 아황산가스(SO₂), 일산화탄소(CO), 이산화질소(NO₂) 데이터를 활용하였다(Oak et al., 2025). 중국의 경우 대기오염측정망 오염물질데이터는 UNEP Air Quality Monitoring Platform에서 측정소 위치를 확인하고, 해당 측정소별 측정값을 Air Pollution in World에서 다운로드하여 활용하였다. 대기오염측정망 오염물질데이터는 GEMS 데이터와 마찬가지로 1월부터 12월까지의 월 평균 자료를 12밴드 형태로 가공하여 멀티모달 입력데이터로 활용하였다.

3. 연구 방법

Fig. 2는 본 연구의 전체적인 연구 흐름을 나타내며, 연구 절차는 크게 다음의 5단계로 구분할 수 있다. 1) 연구 데이터 취득, 2) AI 학습 데이터셋 제작, 3) 학습 데이터셋 분할 및 데이터 확장기법 적용, 4) 딥러닝 모델 학습, 5) 딥러닝 모델 성능 평가. 가장 먼저, 딥러닝 모델 적용을 위해 취득한 연구 데이터에 대하여 AI 학습 데이터셋의 제작을 수행하였다. AI 학습 데이터셋은 입력 영상 데이터와 라벨 데이터의 쌍으로 구성되며, 본 연구에서는 데이터 어노테이션(data annotation)을 통해 라벨 데이터를 직접 구축하여 연구에 활용하였다. 제작이 완료된 학습 데이터셋에 대하여 훈련 데이터, 평가 데이터, 시험 데이터를 각각 80%, 10%, 10%의 비율로 나누었고 훈련 데이터셋에 대하여 데이터 확장기법(data augmentation)을 적용하였다. 본 연구에서는 Landsat 광학 영상만을 활용하여 학습한 단일 인풋 U-Net 모델과 GEMS 위성 데이터, 대기오염측정망 데이터를 함께 입력데이터로 활용한 multi-encoder U-Net 모델의 성능을 비교하였다. 연구 절차에 대한 보다 자세한 내용은 다음과 같다.

Fig. 2. Overall data flow.

3.1. AI 학습데이터셋 제작

의미론적 영상분할(semantic segmentation) 모델 적용을 위한 AI 데이터셋은 입력 데이터와 라벨 데이터가 한쌍으로 구성되며 입력데이터는 위성영상 이미지, 라벨 데이터는 클래스의 분류를 위해 사용되는 정답값을 의미한다. 본 연구에서는 Landsat 8/9 광학 위성 데이터, GEMS 위성 데이터 그리고 대기오염측정망 오염물질 데이터를 함께 사용하여 입력데이터를 구성하였고 이에 대한 라벨 데이터를 직접 구축하여 사용하였다.

본 연구에서 시가지 분류를 위한 라벨 데이터의 구축은 데이터 어노테이션 작업을 통해 수작업으로 수행되었다. 데이터 어노테이션 작업을 수행하기 위해 시가지 지역을 구획하는 명확한 기준을 수립하여 데이터 구축 설계서를 작성하였으며, 이를 통해 라벨 데이터 구축의 객관성을 확보하였다. 토지피복지도 작성지침 제10조에 따르면 시가화건조지역을 주거시설, 상업 및 공업시설, 교통시설 등의 건조물을 포함하는 지역으로 정의하고 있으며, 이에 따라 본 연구에서도 시가지 구획 항목을 도시 내에서 주거시설, 상업 및 공업시설 그리고 교통시설 등의 건조물을 포함하는 지역으로 정의하였다. 산림영역, 수계영역, 농경지 등 시가화 지역에 해당하지 않는 영역은 비대상지로 구획하였으며, 시가화 지역 내에 위치하더라도 가로수와 초지는 비대상지로 구획하였다. 시가지 경계 구획은 Landsat 8/9 위성영상을 활용하여 육안으로 식별이 가능한 객체에 대해서 데이터 어노테이션을 수행하였으나 30 m 해상도의 위성영상만을 활용하여 시가지를 판단하고 경계를 구획하는 것은 한계점이 존재한다. 이러한 한계점을 보완하고 라벨데이터 구축의 객관성을 확보하기 위해 우리나라의 경우 환경부에서 제공하는 중분류 토지피복지도를 참조 데이터로 활용하였고, 중국의 경우 오픈소스 지리 정보 데이터인 OpenStreetMap을 참조데이터로 활용하였다.

라벨데이터 구축 기준을 통해 벡터 데이터 형태로 데이터 어노테이션을 수행하였고, 제작이 완료된 벡터 데이터 포맷의 라벨 데이터 를래스터화(rasterize) 과정을 통해 최종적으로 TIFF 포맷으로 변환하였다. 데이터 어노테이션 및 구체적인 라벨데이터 구축과정은 Gong et al. (2024)의 AI 학습데이터셋 제작의 내용을 따른다. 최종 구축된 Landsat 8/9 영상자료와 라벨데이터는 25%의 중복률을 적용하여 256 × 256 px 크기의 패치데이터로 제작하였고 같은 영역에 해당하는 GEMS 위성 데이터와 대기오염측정망 오염물질 데이터를 64 × 64 px 크기의 패치데이터로 최종 제작하였다. Fig. 3은 본 연구의 라벨 데이터 구축 프로세스를 나타낸다.

Fig. 3. Workflow of AI label data construction.

3.2. 데이터 확장기법

딥러닝 모델의 성능은 모델에 적용한 학습 데이터의 양과 품질에 크게 영향을 받으며, 충분한 양의 데이터가 확보되지 않거나 데이터의 불균형이 심할 경우 모델의 성능이 저하되는 현상이 발생할 수 있다. 특히 의미론적 분할과 같은 픽셀기반의 딥러닝 모델에서는 특정 클래스의 데이터가 부족하여 데이터의 불균형 문제가 생길 경우, 모델의 일반화 능력이 떨어지고 과적합(overfitting)의 위험성이 높아진다(Johnson and Khoshgoftaar, 2019; Baek et al., 2021). 그러나 많은 양의 데이터 확보 및 구축에는 많은 비용과 시간이 소요되는 한계가 존재한다. 이때, 데이터 확장기법을 통해 데이터를 증강함으로써 데이터 부족의 한계를 효과적으로 극복할 수 있다. 본 연구에서는 구축한 학습데이터셋에 데이터 확장기법을 적용하여 데이터 불균형을 해소하고 데이터의 다양성을 확보하였으며, 이를 통해 모델의 일반성과 강건성을 확보하여 딥러닝 모델의 성능을 향상시키고자 하였다(Sun et al., 2017; Perez and Wang, 2017; Shorten and Khoshgoftaar, 2019; Baek et al., 2022). 본 연구에서는 구축한 AI 학습데이터셋 중 훈련 데이터셋에 대하여 random rotation, random scaling, random cutout의 데이터 확장기법을 적용하였다. Random rotation은 영상 중심을 기준으로 –90도에서 +90도 범위 내의 임의 각도를 적용하였으며, random scaling은 0.9배에서 1.1배 사이의 임의 배율을 통해 입력 영상의 크기를 무작위로 변화시켰다. 또한,random cutout은 입력 영상의 임의 위치에 대하여 최대 50 × 50 픽셀 크기의 사각형 영역을 제거함으로써, 모델이 특정 지역적 특징에 과도하게 의존하지 않도록 하였다.

3.3. U-Net

U-Net 모델은 의미론적 영상 분할 작업을 위해 Ronneberger et al. (2015)에 의해 제안된 합성곱 신경망(Convolutional Neural Network, CNN) 기반 딥러닝 모델로 이미지의 탐지 및 의미적 객체 분할에서 두드러지는 성능을 보여주며 산업, 의료, 원격탐사 등 이미지 기반의 분석을 요구하는 여러 분야에서 활발히 사용되고 있다(Ronneberger et al., 2015; Gong et al., 2023). U-Net모델은 입력 영상으로부터 정보를 추출하는 인코더(encoder)와 추출된 특성맵을 이용해 최종 분할맵을 생성하는 디코더(decoder)가 대칭적인 ‘U’자 구조로 결합된 형태를 가진다. 인코더는 원본 입력 영상으로부터 공간 해상도를 점차 감소시키면서 특성의 추상화 수준을 높이고, 디코더는 이러한 특성을 다시 입력 이미지와 동일한 해상도로 복원시켜 최종 분할 맵을 생성하는 연산을 수행한다. 인코더 단계에서는 반복적으로 두 번의 합성곱 연산과 활성화 함수(ReLU)를 적용한 뒤, 맥스풀링(max pooling)을 통해 특성맵의 크기를 줄이며 특성을 추출한다. 인코더에서 특성맵의 공간적 크기는 작아지지만, 채널의 수는 증가하여 더 풍부한 특성의 추출이 가능해진다.

반대로 디코더 단계에서는 업샘플링(upsampling) 연산을 통해 인코더 과정에서 압축된 특성맵의 해상도를 다시 복원시키며 채널 수를 점진적으로 감소시키는 연산을 수행한다. 또한 U-NET에는 인코더에서 추출된 특성맵과 디코더에서 생성된 특성맵을 concatenate 연산을 통해 결합하는 스킵 연결(skip connections) 구조가 포함되어 있다. 일반적인 깊은 네트워크 구조를 갖는 합성곱 신경망 모델에서는 반복되는 합성곱 연산으로 인해 입력층에 가까운 세부 정보들이 손실되는 경향이 있으며, 이로 인해 모델의 깊이가 깊어질수록 기울기 소실(gradient vanishing) 문제가 발생하여 가중치 업데이트가 어려워질 수 있다(Milletari et al., 2016). 하지만 스킵 연결 구조는 이러한 문제를 완화하여 정보의 소실을 줄임으로써 학습의 효율성을 증대할 수 있다.

본 연구에서는 기본적인 U-Net 네트워크 구조를 활용하여 시가지의 의미론적 분할을 수행하였으며, 이때 3가지 입력데이터를 함께 사용하기 위해 U-Net 모델의 인코더 구조를 concatenate 연산을 통해 mutli-encoder 구조로 변경하여 사용하였다(Fig. 4). 또한, 위성영상만을 입력데이터로 활용한 기본적인 U-Net 구조를 활용하여 멀티 모달 데이터를 활용한 multi-encoder U-Net 모델과의 성능을 비교하였다.

Fig. 4. Multi-encoder U-Net model architecture.

3.4. 성능평가 지표

본 연구에서 학습시킨 딥러닝 분류 모델을 정량적으로 평가하기 위해 혼동행렬(confusion matrix)을 생성하여, 이를 기반으로 픽셀 정확도(pixel accuracy), 정밀도(precision), 재현율(recall), F1-Score, Intersection over Union (IoU)을 계산하여 성능평가 지표로 사용하였다(Yu et al., 2021; Lee et al., 2020; 2023; Gong et al., 2023).

픽셀 정확도는 영상 내에서 모델이 예측한 전체 픽셀 중에서 실제 클래스와 정확히 일치하게 분류된 픽셀의 비율을 의미하며, 영상 분할에서 가장 일반적으로 사용되는 성능 지표이다. 그러나 픽셀 정확도는 특정 클래스의 픽셀 수가 데이터 전체에 비해 매우 적거나 많을 경우 성능 평가 결과가 왜곡될수 있는 한계가 존재한다. 픽셀 정확도는 식(1) 과 같이 정의된다.

\(\begin{align} \begin{array}{l}\text {Pixed Accuracy}\\=\frac{\text { True Positive }+ \text { True Negative }}{\text { True Positive }+ \text { True Negative }+ \text { False Positive }+ \text { False Negative }}\end{array} \end{align}\)       (1)

정밀도는 모델이 true라고 예측한 픽셀 중 실제 true인 픽셀의 비율을 나타내고, 재현율은 실제로 true에 해당하는 픽셀 중 모델이 true라고 예측한 픽셀의 비율을 나타낸다. Precision-recall curve는 다양한 임계값(threshold)에서의 정밀도와 재현율 변화를 시각적으로 표현하는 그래프이며, 평균정밀도(Average Precision, AP)는 곡선의 아래 면적을 의미하는 지표로 값이 높을수록 모델의 성능이 우수함을 나타낸다(Boyd et al., 2013; Gong et al., 2022). 정밀도와 재현율에 대한 수식은 다음과 같이 정의된다.

\(\text {Precision}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Positive }}\)       (2)

\(\begin{align}\text {Recall}=\frac{\text { True Positive }}{\text { True Positive }+ \text { False Negative }}\end{align}\)       (3)

F1 Score는 정밀도와 재현율의 조화 평균을 통해 산출되는 평가지표로, 정밀도와 재현율 두가지 지표를 동시에 고려하여 하나의 값으로 모델을 평가할 수 있는 지표이다. F1 Score는 특히, 클래스 간 데이터 불균형이 큰 경우 픽셀 정확도만으로는 모델의 성능평가가 어려운 점을 효과적으로 보완할 수 있는 지표이다(Miao and Zhu, 2022).

IoU는 주로 객체 탐지 및 이미지의 의미론적 분할 등의 모델에서 널리 사용되는 평가지표로, 모델의 예측값과 실제 라벨값 간의 중첩 정도를 정량화하여 나타낸다. 이는 모델의 예측된 영역과 라벨값의 겹치는 부분(intersection)을 두 영역의 합집합(union)으로 나눈 비율을 통해 계산되며, 수식으로 나타내면 다음과 같다(Cheng et al., 2021; Rezatofighi et al., 2019).

\(\begin{align}\text {IoU}=\frac{\text { Area of Overlap }}{\text { Area of Union }}\end{align}\)       (4)

4. 연구 결과

본 연구의 시가화 지역 분류를 위한 AI 학습 데이터셋 구축의 결과 딥러닝 모델에 적용하기 위한 학습 데이터셋은 총 5,000쌍이 제작되었다. 지역별로 중국에 대하여 4,000쌍, 남한에 대하여 1,000쌍이 구축되었다. 딥러닝 모델의 성능을 정확히 평가하기 위해서는 훈련 데이터와 시험 데이터의 명확한 분할이 필수적이다. 특히, 딥러닝 모델의 하이퍼파라미터(hyperparameter)를 조정하는 과정에서 시험 데이터를 사용하면 해당 데이터셋에 대한 과적합 여부를 객관적으로 판단하기 어렵다(Baek et al., 2022). 따라서 본 연구에서는 모델 학습을 위한 훈련 데이터, 하이퍼파라미터 조정을 위한 검증 데이터, 그리고 최종적으로 학습된 모델의 성능 평가를 위한 시험 데이터를 구분하였다. 이를 위해 구축된 전체 데이터셋을 중복되지 않도록 훈련 데이터 80% (4,000쌍), 검증 데이터 10% (500쌍), 시험 데이터 10% (500쌍)의 비율로 랜덤 샘플링을 통해 분할하였다. 데이터 확장기법은 훈련 데이터에 대해서만 적용하였으며, 임의 회전, 임의 크기 변환, 임의 영역 삭제 방법을 랜덤하게 적용하여 2배 증강을 수행하였다. 최종적으로 8,000쌍의 훈련데이터, 500쌍의 검증 데이터, 500쌍의 시험 데이터로 학습데이터셋을 구성하였다.

Figs. 5(a1–f1)와 Figs. 5(a2–f2)는 각각 AI 학습용 데이터셋의 Landsat 8/9 광학영상 데이터와 어노테이션을 통해 구축한 라벨 데이터를 나타낸다. Fig. 5의 예시를 통해 본 연구에서 구축된 시가지 분류 데이터셋은 다양한 분포와 모양을 나타내는 것을 확인할 수 있다. Figs. 5(a–d)는 이미지 내에서 시가화 지역을 명확히 확인할 수 있는 예시를 나타낸다. 256 × 256 패치 이미지 내에 시가화 지역과 혼동될 만한 객체가 거의 존재하지 않는 것을 확인할 수 있으며, 비대상지는 산림지역과 수계영역으로만 이루어져있어 경계의 구획이 비교적 단순한 것을 확인할 수 있다. 반면, Figs. 5(e–f)는 시가화 지역의 구분이 명확한 앞선 예시와 달리 시가화지역에 대한 경계 구획이 어려운 경우를 나타낸다. 논, 밭, 도로 등의 객체가 패치 이미지 내에 혼재되어 있어 시가화지역에 대한 명확한 구분에 한계가 존재하며 복잡한 경계 구조를 갖고 있음을 확인할 수 있다. 광학 위성영상만을 활용한 단일 인풋 U-Net 모델과 위성영상, GEMS 데이터, 대기오염측정망 데이터를 함께 활용한 다중 인풋 U-Net 모델의 정량적, 정석적 분석을 통해 이러한 다양한 라벨데이터의 모양과 분포가 딥러닝 모델 분류결과에 어떤 영향을 미치는지 비교를 수행하였다.

Fig. 5. Examples of constructed AI dataset for urbanized area segmentation: (a1–f1) Landsat 8/9 data and (a2–f2) label data.

Table 3는 본 연구에서 딥러닝 모델의 학습에 사용한 주요 하이퍼 파라미터를 나타낸다. Single-encoder U-Net 모델과 multi-encoder U-Net 모델에 대하여 인코더 구조를 제외한 모든 구조 및 하이퍼파라미터는 동일하게 적용하였다. 에포크(epoch), 미니 배치 크기(mini batch), 손실함수(loss function), 최적화 함수(optimizer) 그리고 학습률(learning rate)은 Table 3과 같이 적용하였다. 손실 함수로는 예측 마스크와 참값 간의 공간적 정합도를 기반으로 정의되는 IoU loss를 적용하였다. IoU loss는 객체 단위의 분할 정확도를 직접 최적화하며, 경계 기반 예측 성능 향상이 요구되는 이진 분할 문제에 효과적이다(Rahman and Wang, 2016). IoU loss 적용 시 시가지 클래스와 비대상지 클래스의 비율은 각각 37%와 63%로 나타남에 따라 클래스 불균형을 보정하기 위해 각 클래스에 대해 각각 0.63과 0.37의 가중치를 적용하였다.

Table 3. Hyperparameters for single-encoder U-Net and multi-encoder U-Net

Fig. 6는 학습된 모델을 통한 시험데이터에 대한 분류 결과를 나타낸다. Figs. 6(a1–f1)은 모델의 인풋으로 사용한 Landsat 8/9 광학영상 이미지를 나타내고, Figs. 6(a2–f2)는 본 연구에서 구축한 라벨데이터를 나타낸다. 그리고 Fig. 6의 a3–f3와 a4–f4는 각각 학습된 singleencoder U-Net 모델과 multi-encoder U-Net 모델의 예측결과를 나타낸다. 라벨 데이터와 모델 분류결과를 비교하였을 때 전반적으로 두 모델 결과에서 모두 높은 시가지 분류 성능을 달성한 하였음을 확인할 수 있다. 구체적인 라벨데이터의 모양과 분포 및 모델에 따른 정성적 분석의 결과는 다음과 같다.

Fig. 6. Predicted output segmentation maps: (a1–f1) Landsat 8/9 data, (a2–f2) label data, (a3–f3) single-encoder U-Net result, and (a4–f4) multi-encoder U-Net result.

먼저, Figs. 6(a–b)는 시가지 라벨데이터의 분류가 명확한 경우를 나타낸다. Fig. 6의 a와 b는 각각 패치이미지 내에 수계 영역과 시가화 영역, 산림 영역과 시가화 영역이 뚜렷한 경계를 나타내고 있으며 두 모델의 분류결과 또한 모두 라벨 데이터와 매우 유사하게 높은 분류 성능을 나타내는 것을 확인할 수 있다. 반면, Figs. 6(c–d)는 위성영상 이미지를 통해 육안으로 시가지 영역의 판단이 어렵고 경계의 구분이 명확하지 않은 경우를 나타낸다. 해당 경우에 대해, Figs. 6(c–d)의 파란색 실선 박스친 부분을 통해 두 모델의 분류결과가 라벨데이터와 일치하지 않는 것을 확인할 수 있다. 미탐지 또는 오탐지된 픽셀이 single-encoder U-Net과 multi-encoder U-Net의 두 모델 결과 모두에서 분포하고 있으며 시가지 경계의 구획 또한 라벨데이터와 다른 것을 확인할 수 있다. 이를 통해, 광학영상을 통해 명확한 분류가 힘든 경우에는 추가적인 입력자료의 활용이 모델의 분류성능 향상에 큰 영향을 미치지 않는 것을 확인할 수 있다. Figs. 6(e–f)는 single-encoder U-Net과 multi-encoder U-Net의 분류성능 차이를 확인할 수 있는 분류결과이다. Figs. 6(e–f)는 패치 이미지 내에 시가지 영역이 단순한 구조를 보이며, 광학영상을 통해서도 구분이 가능한 경우를 나타낸다. Figs. 6(e–f) 파란색 실선 박스를 확인하면 multi-encoder U-Net 모델의 결과에서 도로 경계의 검출 성능이 단일 인풋 모델에 비해 높은 것을 확인할 수 있다.

정성적 평가 결과, 광학영상 데이터와 대상 객체의 분포 형태가 분류성능에 지배적인 영향을 미치는 것을 확인할 수 있으며, multi-encoder U-Net 모델은 광학영상 단일 입력 모델에 비해 일부 경우에 분류 성능이 향상되었음을 확인할 수 있다. 이는 GEMS 및 대기오염 측정망 자료는 분류 성능 개선에 제한적 역할을 수행하지만, GEMS 및 대기오염 측정망 자료와 같은 보조 정보를 추가적으로 활용할 경우, 시가지의 전역적 공간적 특성과 시계열 기반의 정보를 반영함으로써 도시 외곽 지역이나 도로와 같이 공간적 연속성이 요구되는 경계 분류의 정확도를 향상시킬 수 있음을 시사한다.

Table 4는 본 연구에서 학습한 두 시가지분류 모델의 정량적 성능 평가 결과를 나타낸다. Single-encoder U-Net과 multi-encoder U-Net에 대하여 IoU, 픽셀 정확도, 정밀도, 재현율 그리고 F1 score를 통해 정략적 성능 평가를 수행하였다. 두 모델의 픽셀 정확도는 각각 0.9499과 0.9523, IoU는 0.8729과 0.8789, F1 score는 0.9322과 0.9355로 multi-encoder U-Net 모델이 소폭 향상된 성능을 보이는 것을 확인할 수 있다. 두 모델 간의 정량적 수치의 차이가 존재하나 1% 미만으로 큰 차이를 나타내지 않는다. 이러한 정량적 결과는 앞서 Fig. 6에서 수행한 정성적 평가 결과와도 일치한다. 두 모델 모두 전체적인 시가지 분포에 대해서는 유사한 분류 양상을 보였으며, 대부분의 패치에서 높은 정확도를 나타냈다. 다만, multi-encoder U-Net 모델이 도로 경계 및 시가지의 세부 경계 표현에 있어 보다 정밀한 결과를 보인 사례가 일부 관찰되었으나, 해당 특징은 전체 이미지에서 차지하는 비중이 제한적이었다. 따라서 정량적 지표에 반영되는 전체 평균 성능에서는 두 모델 간 차이가 1% 미만으로 미세하게 나타났으며, 이는 모델 간 구조 차이가 국지적인 성능 개선에는 기여했으나, 전반적인 분류 정확도에는 제한적인 영향을 미쳤음을 의미한다.

Table 4. Evaluation results of the single-encoder U-Net and multi-encoder U-Net models

Figs. 7(a, b)는 시험 데이터에 대한 single-encoder U-Net 모델과 multi-encoder U-Net 모델의 Precision-Recall 곡선과 클래스별 AP 그리고 mean AP (mAP) 성능을 나타낸다. mAP는 single-encoder 모델과 multi-encoder 모델에서 각각 0.948, 0.951로 확인되었으며, 두 모델 간 큰 차이는 없으나 multi-encoder U-Net 모델이 소폭 향상된 분류 성능을 보였다. 클래스별 AP를 살펴보면, Urbanized Area 클래스에서 각각 0.962와 0.966, Non-targetArea 클래스에서는 0.934와 0.935로 측정되어 두 클래스 모두에서 multi-encoder U-Net이 미세한 성능 우세를 나타냈다. 이러한 결과는 앞선 정성적 분석 및 정량적 지표와도 일치하며, 추가 입력자료를 활용한 multi-encoder 구조가 시가지 분포의 특성과 공간적 맥락 정보를 보다 효과적으로 학습할 수 있도록 기여한 것으로 해석된다. 다만, multi-encoder U-Net 모델이 상대적으로 우수한 분류 성능을 보인 영역은 전체 패치 이미지 중 일부에 해당하며, 해당 영역이 전체 패치 이미지 내에서 차지하는 비중이 크지 않았기 때문에 정량적 성능 지표의 향상 폭은 크지 않은 것으로 판단된다.

Fig. 7. Precision-recall curves of trained model: (a) single-encoder U-Net and (b) multi-encoder U-Net.

본 연구에서는 학습된 모델에 대하여 정성적, 정량적 평가를 통해 광학 영상만을 활용한 단일 인풋 U-Net 모델과 GEMS 데이터와 대기오염측정망 오염물질 데이터를 추가적으로 함께 입력자료로 활용한 다중 인풋 U-Net 모델의 시가지 분류 성능을 비교하였다. 또한, 학습데이터 패치 이미지 내의 분류 대상 객체의 분포 양상에 따른 분류결과를 평가하였다. 평가 결과, 시가지 분류 모델은 전반적으로 우수한 분류 성능을 보였으며, 특히 multi-encoder U-Net 모델은 도로 및 시가지 경계 등 일부 구간에서 보다 정밀한 분류 결과를 나타내었다. 그러나 분류 성능에 가장 큰 영향을 미친 정보는 광학영상이었으며, 추가 입력자료(GEMS 및 지상관측자료)는 해상도가 낮고 시각적 분류에 직접적인 정보를 제공하지 않기 때문에, 다중 입력자료에 기반한 성능 향상은 국지적인 영역에 국한되었고, 전체 이미지에서 차지하는 비중 또한 작아 정량적 지표상에서는 성능 개선 폭이 제한적으로 나타났다. 향후 분류 성능의 개선을 위해서는 추가 입력자료의 공간 해상도 향상 및 모델 구조의 개선에 대한 연구가 필요할 것으로 보인다. 본 연구에서는 기본적인 U-Net 구조를 기반으로 멀티 인코더 구조를 적용하였으나, 보다 정교한 공간적 정보의 학습을 위해 중요한 공간 정보를 선택적으로 반영하는 구조인 Attention U-Net 및 전역적인 정보를 효과적으로 포착할 수 있는 self-attention 기반의 구조인 Transformer U-Net을 활용하여 추후 연구에서 모델 개선에 대한 성능 비교를 수행하고자 한다. 또한, 현재 사용된 256 × 256 크기의 패치는 GEMS 및 대기오염측정망과 같은 저해상도 입력자료의 공간적 특성을 충분히 반영하기에 한계가 있으므로, 향후에는 512 × 512 크기의 패치 기반 입력자료와의 비교를 통해 GEMS와 대기오염 측정망 자료의 전역적 정보가 분류 성능에 미치는 영향을 정량적으로 평가하고자 한다.

5. 결론

전 세계적으로 대기오염은 인류의 건강과 자연환경에 심각한 영향을 미치는 범지구적 문제로, 그 심각성과 확산 범위는 지속적으로 확대되고 있다. 특히 동아시아 지역은 급격한 도시화와 산업화, 그리고 국경을 초월한 대기오염물질의 이동으로 인해 대기질 악화 문제가 더욱 심화되고 있으며, 한반도 또한 이러한 영향권 내에 포함되어 있다. 이에 따라 국내외 대기오염 물질 배출원의 정확한 파악과 지속적인 모니터링은 환경정책 수립의 핵심 기반으로 요구되고 있다. 그러나 기존 대기질 측정망은 지점 기반의 한계를 지니며, 대규모 지역의 도시 확산과 오염원 분포를 정밀하게 분석하기에는 어려움이 있다. 또한 국외 주요 배출원의 정보는 접근성과 보안상의 제약으로 인해 체계적인 획득이 쉽지 않은 실정이다. 본 연구는 이러한 한계를 극복하기 위해 원격탐사 기반의 다양한 위성영상자료와 지상관측자료를 통합하고, 딥러닝 기반 의미론적 분할 기법을 적용하여 시가지 분포를 정밀하게 분류하고자 하였다.

연구 수행을 위해 중국 동부해안과 남한 지역을 대상으로 Landsat 8/9 광학영상, GEMS 환경위성자료, 지상 대기질 측정망 데이터를 결합한 멀티모달 AI 데이터셋을 구축하였으며, 이를 기반으로 다중 인코더 구조의 U-Net 모델을 설계하였다. 학습된 모델의 성능은 정성적 분석과 정량적 지표를 통해 평가되었으며, 실험 결과 multi-encoder U-Net 모델은 Pixel Accuracy 0.9523,IoU 0.8789, F1 Score 0.9355를 기록하며 단일 입력 모델 대비 미세한 성능 향상을 나타냈다. 특히 도로 경계 및 시가지 외곽 경계와 같이 공간적 연속성이 요구되는 경계 분류에서는 추가 입력자료를 활용한 멀티모달 모델이 향상된 결과를 보였다.

본 연구를 통해 멀티모달 AI 기반 시가지 분류의 가능성과 한계를 모두 확인할 수 있었으며, 향후에는 보다 정밀한 오염원 탐지를 위해 시간 해상도와 공간 해상도를 모두 향상시킨 데이터셋 구성과 모델 설계가 필요할 것으로 판단된다. 본 연구의 결과는 동아시아 지역의 대기오염 배출원 탐지 기술 고도화에 기여할 수 있으며, 장기적인 대기환경 감시 및 정책 수립을 위한 정량적 기초자료로 활용될 수 있을 것으로 기대된다.