Efficient Deep Learning Approaches for Active Fire Detection Using Himawari-8 Geostationary Satellite Images

Himawari-8 정지궤도 위성 영상을 활용한 딥러닝 기반 산불 탐지의 효율적 방안 제시

Abstract

As wildfires are difficult to predict, real-time monitoring is crucial for a timely response. Geostationary satellite images are very useful for active fire detection because they can monitor a vast area with high temporal resolution (e.g., 2 min). Existing satellite-based active fire detection algorithms detect thermal outliers using threshold values based on the statistical analysis of brightness temperature. However, the difficulty in establishing suitable thresholds for such threshold-based methods hinders their ability to detect fires with low intensity and achieve generalized performance. In light of these challenges, machine learning has emerged as a potential-solution. Until now, relatively simple techniques such as random forest, Vanilla convolutional neural network (CNN), and U-net have been applied for active fire detection. Therefore, this study proposed an active fire detection algorithm using state-of-the-art (SOTA) deep learning techniques using data from the Advanced Himawari Imager and evaluated it over East Asia and Australia. The SOTA model was developed by applying EfficientNet and lion optimizer, and the results were compared with the model using the Vanilla CNN structure. EfficientNet outperformed CNN with F1-scores of 0.88 and 0.83 in East Asia and Australia, respectively. The performance was better after using weighted loss, equal sampling, and image augmentation techniques to fix data imbalance issues compared to before the techniques were used, resulting in F1-scores of 0.92 in East Asia and 0.84 in Australia. It is anticipated that timely responses facilitated by the SOTA deep learning-based approach for active fire detection will effectively mitigate the damage caused by wildfires.

산불은 예측이 어려운 재해이기 때문에 실시간 모니터링을 통해 빠르게 대응하는 것이 중요하며, 정지 궤도 위성 영상은 광역을 짧은 시간 간격으로 모니터링할 수 있어 산불 탐지 분야에 활발히 이용되고 있다. 기존의 위성 영상 기반 산불 탐지 알고리즘은 밝기 온도의 통계량 분석을 통한 임계값 기반으로 이상치를 탐지하는 방향으로 진행되어 왔다. 그러나 강도가 약한 산불을 탐지하기 어렵거나, 적절한 임계값 설정의 어려움으로 일반화 성능이 저하되는 한계점이 있어 최근에는 기계학습을 이용한 산불 탐지 알고리즘들이 제시되고 있다. 현재까지는 random forest, VanillaConvolutional neural network (CNN), U-net 구조 등의 비교적 간단한 기법이 적용되고 있다. 따라서, 본 연구에서는 정지궤도 위성인 Advanced Himawari Imager를 이용하여 동아시아와 호주를 대상으로 State of the Art (SOTA)딥러닝 기법을 적용한 산불 탐지 알고리즘을 개발하고자 하였다. SOTA 모델은 EfficientNet과 lion optimizer를 적용하여 개발하고, Vanilla CNN 구조를 사용한 모델과 산불 탐지 결과를 비교하였다. EfficientNet은 동아시아와 호주에서 0.88 및 0.83의 F1-score를 기록함으로써 CNN (동아시아: 0.83, 호주: 0.78)에 비해 뛰어난 성능을 입증하였다. EfficientNet에 불균형 문제 해결을 위한 weighted loss, equal sampling, image augmentation 기법 적용 시, 동아시아와 호주에서 각각 0.92와 0.84의 F1-score를 기록함으로써 적용 전(동아시아: 0.88, 호주: 0.83)에 비하여 성능이 향상되었음을 확인하였다. 본 연구를 통하여 제시된 SOTA 딥러닝 기법의 산불 탐지에의 적용 가능성과 딥러닝 모델의 성능 향상을 위해 고려해야 할 방향은 향후 산불탐지 분야에 대한 딥러닝 적용에 도움이 될 것으로 기대된다.

1. 서론

산불은 단 한 번의 발생으로도 산림 생태계 파괴, 대기 오염, 인명 피해를 포함한 대규모의 피해를 초래할 수 있는 재해이다(Jiao and Bo, 2022; Yarragunta et al., 2020). 최근 건조한 기후 상태로 인해 전 세계적으로 산불의 규모가 커지고 지속 기간이 길어지는 등 산불로 인한 피해가 증가하고 있다(Bar et al., 2021; Jolly et al., 2015). 산불 발생을 사전에 예측하기는 매우 어렵기 때문에 산불로 인한 피해를 최소화하기 위해서는 실시간 모니터링을 통한 지속적인 관측이 매우 중요하다. 위성 영상은 넓은 범위를 지속적으로 모니터링하는 데 매우 효과적이므로 위성 영상을 활용한 산불 발생 탐지가 활발하게 연구되고 있다 (Jang et al., 2019; Schroeder et al., 2014; Schroeder et al., 2016; Xu et al., 2020).

위성 영상 기반 산불 발생 탐지는 Moderate Resolution Imaging Spectroradiometer (MODIS)센서를 기반으로 개발된 알고리즘이 가장 신뢰도 높은 알고리즘으로 오랜 기간 사용되어오고 있다(Giglio et al., 2003). MODIS 산불 탐지 알고리즘은 주변부 통계량 분석을 통한 임계값 기반의 이상치 탐지 방식이며, 산불 발생 시 상승하는 중적외선과 열적외선 밝기 온도(brightness temperature, BT) 간의 차이를 활용한다. 현재 Visible Infrared Imaging Radiometer Suite (VIIRS),GeostationaryOperationalEnvironmental Satellite Program(GOES),AdvancedHimawariImager (AHI), Advanved Meteorological Imager (AMI) 등의 위성 센서 기반 산불 탐지 알고리즘들은 모두 임계값 알고리즘에 기반을 두고 유사한 방식으로 산불 탐지 산출물을 제공하고 있다(Hall et al., 2019).

임계값 기반 알고리즘은 강도가 강하고 규모가 큰 산불의 발생을 탐지하는 데 매우 탁월하다(Giglio et al., 2016; Xie et al., 2018). 그러나 강도가 약하거나 규모가 작아 정지궤도 위성에서 감지하기에는 너무 신호가 약할 경우 이러한 산불을 탐지하지 못하는 한계점이 있다. 뿐만 아니라, 임계값 설정을 위하여 활용된 산불 및 비산불 사례 집단에 따라서 적절한 임계값이 제각기 다르게 나타날 수 있어, 서로 다른 지역에서 알고리즘의 일반화 성능이 저하되는 문제점이 있다(Kang et al., 2022).

기존의 임계값 기반 산불 탐지 알고리즘의 한계를 극복하기 위해 최근에는 기계학습을 이용한 연구가 진행되고 있다. Pereira et al. (2021)은 Landsat-8의 고해상도 위성 영상에 U-net 기반 딥러닝 모델을 활용하여 산불 탐지 알고리즘을 개발하였다(de Almeida Pereira et al., 2021). Kang et al. (2022)은 정지궤도 위성 영상인 AHI를 활용하여 벡터 기반의 Random Forest와 이미지 기반의 Convolutional Neural Network (CNN) 기법을 각각 적용한 산불 탐지 알고리즘을 개발하고, 특히 CNN이 입력 영상에서 변수의 공간 패턴을 학습하여 산불 탐지에서 우수한 성능을 보였음을 입증하였다(Kang et al., 2022). 현재까지 Vanilla CNN, U-net 등의 간단한 딥러닝 구조가 적용되어왔으므로, 최신 State of the Art (SOTA) 기법의 적용을 통한 모델 향상 가능성 평가와 더불어 딥러닝 적용 시 효율적 접근 방안에 대해 모색한다면 향후 보다 수준 높은 딥러닝 기반 산불 탐지 모델 개발을 위한 발판이 될 것으로 기대된다.

본 연구에서는 실시간 모니터링을 위하여 정지궤도 위성인 Himawari-8 AHI를 이용하여 동아시아와 호주에서의 딥러닝 기반 산불 발생 탐지 알고리즘을 개발하고자 하였다. SOTA 모델로 선정된 EfficientNet과 lion optimizer를 적용하여 모델을 개발하고, Vanilla CNN 구조를 적용한 모델과 산불 탐지 결과를 비교 평가하였다. 본 연구를 통하여 산불 탐지에 있어 SOTA 기법의 적용 가능성과 데이터 불균형, 지역 환경 조건 등 딥러닝 모델의 성능 향상을 위해 고려해야 할 방향에 대해 제시하고자 하였다.

2. 연구 지역 및 자료

2.1. 연구 지역

본 연구를 위한 주요 연구 지역은 동아시아와 호주이다. 동아시아는 농업 활동으로부터 야기되는 산불들이 잦은 곳이며, 그 중에서도 산불 발생 빈도가 높은 세곳을 연구 지역으로 설정하였다(Figs. 1a, c, d, e). 호주는 대형 산불들이 빈번하게 발생하며, 2019년에는 ‘black summer’라고 불리우는 수 개월간 지속된 대형 산불이 발생하여 큰 피해가 발생하기도 하였다. 호주에서도 동아시아와 같이 산불 발생 빈도가 높은 세 곳을 선정하였으며, 선택된 지역들은 모두 다양한 기후대 및 식생으로 이루어져 있다(Figs. 1b, f, g, h). 동아시아와 호주는 기후대 및 토지 피복의 형태가 매우 다르며, 산불의 강도 또한 다를 것으로 예상된다. 따라서 각 지역별 산불 특성에 맞는 최적의 딥러닝 기반 산불 탐지 알고리즘 개발을 위한 본 연구의 목적을 달성하는 데 적절한 연구 지역이라고 판단하였다.

Fig. 1. Study area covering six sites in East Asia and Australia. The MODIS land cover type product is used as a background image and the black hatched boxes in (a) and (b) are the focus study sites (c–h).

2.2. Himawari-8 AHI

Himawari-8 AHI의 BT 자료를 산불 탐지 모델의 주요 입력변수로 사용하였다. 산불이 발생한 지역은 그렇지 않은 지역과 비교하여 중적외선과 열적외선에서의 BT 차이가 크게 나타난다(Giglio et al., 2003; Justice et al., 2002; Wooster et al., 2021). AHI는 중적외선 및 열적외선 채널의 광학 정보를 동아시아와 호주를 포함하는 반구 영역에 관하여 2 km의 공간해상도로 10분마다 제공한다. 본 연구의 산불 탐지 모델에서는 AHI의 중적외선(중심 파장 3.85 μm)과 두 개의 열적외선(중심 파장 9.63 및 11.20 μm) 채널 간의 BT 차를 주요 입력 변수로 사용하였다. 적외선 채널의 BT가 태양 복사의 일별 패턴과 밀접한 연관성이 있기 때문에, 이를 고려하기 위한 보조 입력 변수로 태양 천정각(Solar Zenith Angle, SOZ) 자료를 사용하였다(Schroeder et al., 2014; Schroeder et al., 2008; Zhukov et al., 2006). AHI 자료는 일본 우주항공연구개발기구(Japan Aerospace ExplorationAgency) P-Tree (https://www.eorc.jaxa.jp/ptree/index.html)에서 제공된다.

2.3. MODIS/VIIRS 산불 탐지 산출물

MODIS 및 VIIRS 산불 탐지 산출물(각각 MCD14DL 및 VNP14IMGTDL)을 산불 탐지 모델 구축을 위한 참조자료로 사용하였다. MODIS 산불 탐지 산출물은 지난 20년간 여러 차례의 알고리즘 업데이트와 다양한 지역에서의 검증 과정을 거치며, 가장 널리 사용되고 신뢰도가 높은 산불 탐지 산출물로 평가되어 왔다(Cheng et al., 2013; Csiszar et al., 2006; Freeborn et al., 2014; Hawbaker et al., 2008; Morisette et al., 2005; Schroeder et al., 2008). MODIS 산불 탐지 산출물은 1 km의 공간 해상도로 하루 4회 제공되며(Terra 및 Aqua 위성 각 2회), VIIRS 산불 탐지 산출물은 375 m의 공간 해상도로 하루 4회 제공된다(Suomi와 NOAA 위성 각 2회). 두 위성 산출물 모두 세 가지 범주(low, nominal, high)의 신뢰 수준 정보를 제공하며, MODIS의 경우 백분율(0–100%) 형태의 추가 신뢰 수준 정보를 함께 제공한다. 오탐지를 방지하기 위해 nominal 이상의 신뢰 수준을 가진 데이터를 사용하는 것이 권장되며(Giglio et al., 2018), 본 연구에서는 AHI와의 공간 해상도 차이를 고려하여 신뢰 수준이 high인 데이터만 사용하였다. MODIS와 VIIRS 산불 탐지 산출물은 미국 항공 우주국(National Aeronautics and Space Administration, NASA) Fire Information for Resource Management System(https://firms.modaps.eosdis.nasa.gov/)에서 제공된다.

2.4. MODIS Land Cover

가연성 식생 지역의 식별 및 식생 종류에 따른 연소 특성의 차이를 모의하기 위해 MODIS 토지 피복(land cover, LC) 산출물(MCD12Q1)을 사용하였다. MODIS 토지 피복 산출물은 국제 지구권-생물권 프로그램(International Geosphere-Biosphere Programme)을 기반으로 의사 결정 나무(decision tree)를 이용하여 분류된 17개 토지 피복 종류에 관한 정보를 제공한다(Friedl et al., 2002). MCD12Q1 version 6 자료는 500 m의 공간 해상도로 2001년부터 2020년까지 매년 1회 제공된다. 본 연구에서는 forest, shrubland, savannas, grassland 그리고 cropland와 관련된 11개 종이 가연성 식생으로 간주되었다. MODIS 토지 피복 산출물은 NASA United States Geological Survey Earth Data (https://search.earthdata.nasa.gov/)에서 제공된다.

2.5. ERA5-Land

산불에 영향을 미칠 수 있는 기후 변수의 모의를 위해 유럽중기예보센터(European Centre for Medium-Range Weather Forecasts, ECMWF)의 5세대 육상 재분석자료(ERA5-land)를 사용하였다. ERA5-land는 유럽 연합의 지원으로 ECMWF가 코페르니쿠스 기후 변화 서비스(Copernicus Climate Change Service, C3S)의 일환으로 제공하는 전 지구 육상 재분석자료이다. ERA5-land는 자료 동화 기법을 통해 기후 관측 자료를 물리 법칙 기반의 예측 모형과 결합하여 시공간적으로 연속적인 기후 정보를 제공한다(Muñoz-Sabater et al., 2021). ERA5-land는 육상에서의 물 및 에너지 순환과 관련된 50개의 변수로 구성되어 있으며, 전 지구 영역에 관하여 9 km의 공간 해상도로 1950년부터 현재까지 매시간 1회 제공된다. 본 연구에서는 지표면 온도(skin temperature, ST)와 상대 습도(relative humidity, RH)를 보조 입력변수로 사용하여, 산불 이외에 BT에 유의미한 변화를 줄 수 있는 기후 변수를 고려하였다. ERA5-land는 C3S 기후 자료 저장소(Climate Data Store, https://doi.org/10.24381/cds.e2161bac)에서 제공된다. 본 연구에 사용된 모든 자료에 관한 요약은 Table 1에 제시되어 있다.

Table 1. Summary of the satellite and reanalysis data used in this study

3. 연구 방법

3.1. 자료 전처리

광학 위성 영상은 구름이 존재할 경우 지표로부터 전달되는 신호가 훼손되기 때문에 산불로부터의 신호를 획득하기 어려우므로, 산불 탐지 알고리즘은 일반적으로 청천 화소에 대해서만 수행된다. 따라서, 본 연구에서는 청천 화소를 식별하기 위하여 선행 연구에서 수행된 구름 제거 알고리즘을 활용하였다. Himawari-8 AHI를 활용하여 구름을 제거하는 여러 기법들 중 야간 시간에도 적용할 수 있는 알고리즘이며 정확도가 높다고 판단된 Lim et al. (2018)의 방법을 채택하였다(Lim et al., 2018). Lim et al. (2018)에서는 구름 특성에 따른 BT의 차이에 근거하여 구름을 제거하며, 총 10개의 조건으로 이루어져 있다. 본 연구에서는 육상에서의 구름 제거와 관련된 6개 조건을 적용하였다.

위성 영상에서 제공되는 중적외선 채널 BT 값을 별도 처리 없이 입력 자료로 활용하면 산불 발생 당시의 환경에 따라 달라지는 온도나 강도가 약한 산불에 취약한 단점이 있다. 따라서, 본 연구에서는 열적외선 채널과의 BT 차이를 이용하여 상대적인 값을 모델 입력 자료로 사용하고자 하였다. 먼저, 온도에 민감한 7번 채널의 BT (BT07)와 더불어 분광학적 차이를 활용하기 위하여 7번 채널과 12번 채널의 차이(BT07-12), 7번 채널과 14번 채널의 차이(BT07-14)를 계산하였다. 이는 기존 선행 연구들에서 널리 채택되고 있는 정보이다(Giglio et al., 2003; Giglio et al., 2016; Kang et al., 2022; Schroeder et al., 2014; Zhang et al., 2023). 이후, 산불 발생 위치가 주변부에 비해서 달라지는 공간에 따른 차이를 더욱 강조해 주기 위해서 앞서 계산된 두 변수의 공간적 차이(SP07-12 및 SP07-14)를 추가적으로 계산해 줌으로써 총 5개의 입력 변수가 구축되었다. 공간적 차이는 선행 연구를 참고하여 중심 픽셀을 기준으로 11 × 11 영역 내에서 구름으로 오염된 지역과 식생이 아닌 지역을 제외한 주변부와 중심부 사이의 차이로 계산되었다(Kang et al., 2023).

이어 본 연구에서는 시간 및 공간해상도가 상이한 자료들을 사용하고자 했기 때문에 데이터가 동일한 시간 및 공간해상도를 가질 수 있도록 전처리를 수행하였다. 산불 탐지 알고리즘에서 가장 주요한 입력 자료는 Himawari-8 AHI에서 제공되는 BT이기 때문에 타겟 시공간 해상도는 각각 10분 간격/2 km로 설정하였다. ERA-5 land에서 제공되는 자료들은 Himawari-8 AHI 관측 시점과 가장 가까운 자료를 매칭 해주었으며, 이중선형 보간법을 이용해서 2 km 자료로 할당해주었다. MODIS에서 제공되는 LC 자료는 2 km 이내에서 가장 비율이 높은 클래스를 할당하는 방식으로 처리하였다. 2 km로 가공된 LC 자료는 IGBP class에 근거하여 High biomass, Low biomass, None-biomass로 구분되었으며 각각 2, 1, 0 순서로 생물량이 많을수록 높은 값을 가질 수 있도록 변환해주었다. 최종적으로, 본 연구에서 사용된 입력자료는 BT로부터 추출된 5개 변수와 SOZ, LC, ST, RH를 포함하여 총 9개로 구성되었다(Table 2).

Table 2. Summary of the input variables used in this study

3.2. 참고자료 구축

연구 지역에 대한 공식적인 산불 발생 현장 자료가 제공되지 않기 때문에, 본 연구에서는 산불 탐지 모델의 훈련 및 검증을 위하여 기존 위성 기반 산불 탐지 산출물을 활용하였다. 현재 전구 영역에서 가장 신뢰도 높은 것으로 판단되고 있는 MODIS 및 VIIRS 산불 탐지 산출물에 전처리 단계를 거처 신뢰도 높은 산불 자료만을 선정하였다. 자체 신뢰도 자료를 활용하여 식생지역에서 발생한 high confidence 자료만을 선정하고, 동일한 위치에서 이틀 연속으로 산불이라고 판단된 경우에 대해서만 참고자료 구축에 활용하였다. 최종적으로 선정된 산불 위치에서 10분 간격으로 값을 추출하여 산불 자료로 활용하였으며, 이는 선행 연구에서 제시된 방법에서 발췌한 것이다(Kang et al., 2023). 해당 과정을 나타낸 모식도는 Fig. 2와 같다.

Fig. 2. Reference fire sample construction process that consists of five steps.

산불 샘플을 위해 신뢰도 높은 자료만을 선택한 것과는 반대로 산불일 가능성이 있는 위치를 제외한 곳에서 비산불 샘플을 취득하였다. 해당 과정은 비이상적으로 높은 온도를 가지는 픽셀과 산불 발생 주변 픽셀들을 제외한 뒤, 다양한 BT 값을 가질 수 있도록 대표 비산불 샘플을 취득하는 과정과 공간적으로 균등하게 분포할 수 있도록 샘플을 취득하는 과정을 포함하고 있다. 일반적으로 산불 샘플에 비해서 비산불 샘플이 가지는 특성이 매우 다양하기 때문에 최대한 다양한 샘플을 고려해주기 위하여 산불 샘플에 비해서 약 3배에서 4배 정도 더 많은 수만큼 추출하였다.

3.3. 산불 탐지 모델 구축

3.3.1. 입력자료 구축

산불 탐지에 사용되는 각 변수들은 서로 다른 범위의 값을 가지고 있다. 예를 들어, RH는 이론적으로 0–100% 사이의 값을 가지지만, LC 값은 0–2 사이의 값을 가진다. 이처럼 매우 다른 범위의 값을 가질 경우, 딥러닝 모델이 범위가 큰 변수의 영향을 크게 받는 등 데이터셋을 제대로 학습하지 못하는 문제가 발생하므로 이를 사전에 방지하기 위하여 모든 변수들에 대해 표준화(standardization)를 수행하였다. 데이터 표준화를 위해서 다양한 방법이 제시되어 왔으며, 본 연구에서는 다른 기법에 비해 이상치에 덜 민감한 장점이 있어 딥러닝에 적용하기 위한 데이터셋을 만들 때 널리 사용되어 온 Z-score Normalization을 사용하였다.

3.3.2. Convolutional Neural Network

본 연구에서는 convolution 연산에 기반을 둔 Vanilla CNN과 EfficientNet을 산불 탐지를 위한 딥러닝 모델로 채택하였다(LeCun et al., 1989; Tan and Le, 2019). Convolution은 컴퓨터 비전 분야에서 전통적으로 사용되어왔던 기법으로, 특정한 특징을 추출하는 필터를 이미지에 통과시켜 해당 특성이 잘 드러난 결과 이미지를 얻는 방법이다. 과거에는 사람이 직접 이러한 필터의 값을 연구했지만 딥러닝 기술이 개발되면서 convolution 연산에 사용되는 필터의 값을 학습을 통해 만들어내어 인공지능 스스로 이미지에서 특징을 추출하는 CNN 기법이 제안되었다.

CNN은 convolution 연산을 사용하기 때문에 이미지를 학습해야 하는 작업에서 다른 모델들보다 좋은 성능을 보이지만 많은 연산을 필요로하고 모델이 깊어질수록 나타나는 기울기 소실, 과적합 등의 문제는 그대로 가지고 있다. CNN에서 파생된 EfficientNet은 기존 convolution 연산의 효과를 거의 그대로 유지하면서 연산량을 획기적으로 줄인 depth-wise separable convolution 연산과 bottle neck 구조를 사용하는 MobileNetV2 기반 모델이다(Sandler et al., 2018). EfficientNet은 CNN 계열 모델의 복잡도를 결정하는 모델의 깊이, 필터 개수의 조합이 일정 이상 올라가지 않게 유지하면서 성능을 최대로 낼 수 있도록 값을 최적화된 기법으로써, 2019년에 ImageNet Dataset에서 SOTA를 달성하였다(Tan and Le, 2019).

본 연구에서는 EfficientNet의 간소화된 버전인 EfficientNet-B0를 기본적인 CNN 구조로 이루어진 모델을 기준으로 삼아 산불탐지 성능을 비교하였다(Figs. 3, 4). CNN과 EfficientNet은 각각 adam optimizer, lion optimizer를 이용하여 최적화하였다. Lion optimizer는 adam optimizer처럼 모델의 각 파라미터마다 서로 다른 학습률을 가지는 adaptive learning rate를 사용하지 않고 second momentum과 각 파라미터의 부호에만 의존해 모든 파라미터가 동일한 크기의 learning rate를 가지도록 한 optimizer로써, 현재 이미지 분류 분야에서 널리 사용되는 ImageNet 데이터셋에서 ViT-G 모델을 이용해 SOTA를 달성하였다(Chen et al., 2023).

Fig. 3. Detailed model structure of the CNN model.

Fig. 4. Detailed model structure of the EfficientNet model.

3.3.3. 딥러닝 모델 성능 향상을 위한 전략

산불 탐지 알고리즘의 경우 산불을 올바르게 탐지하는 것도 중요하지만 오탐지(false alarm)가 발생했을 때 큰 혼란을 야기할 수 있어 비산불 이미지를 올바르게 비산불로 분류하는 능력도 중요하게 평가된다. 산불은 비산불과 비교하여 빈도가 낮기 때문에 위성 영상 이미지 내에서 산불 데이터는 극히 일부분을 차지한다. 본 연구에서 사용된 데이터셋은 이러한 자연적인 현상을 반영하고 비산불의 다양한 특성을 담기 위해 산불 이미지 보다 약 4배 많은 비산불 이미지를 포함하고 있다. 이러한 데이터셋의 영향으로 모델이 산불과 비산불 이미지 사이의 차이를 제대로 학습하지 못하고 모호한 이미지들을 비산불로 분류함으로써 낮은 loss 값을 달성하려는 ClassImbalance 문제가 발생할 수 있다(He and Garcia, 2009). 이러한 경향은 전체적인 정확도와 precision 측면에선 유리할 수 있지만 산불 이미지를 비산불 이미지로 잘못 분류하게 될 확률이 올라가고 recall의 하락으로 이어진다. 본 논문에선 이러한 문제를 해결하기 위해 weighted loss, equal sampling, image augmentation의 세가지 기법을 사용하였다.

Weighted loss는 딥러닝 모델에서 class imbalance를 완화하기 위한 전통적인 기법으로, 샘플 수가 더 작은 클래스의 대한 loss를 증폭시키는 방식이다(Ren et al., 2018). 본 연구에서는 기본적인 binary cross entropy 식을 기반으로 label이 1인 데이터의 대한 loss 값에 3배의 가중치를 설정하였다. 가중치는 산불과 비산불 샘플의 비율을 고려한 범위 내에서 경험적으로 결정되었다. 본 연구에서 모델 학습에 사용된 loss function은 식(1)과 같다.

L(x, y) = – (3y log σ(x) + (1 – y) log σ(1 – x))       (1)

식(1)에서 x와 y는 각각 모델의 output과 label을 의미한다. Weighted loss를 적용하면 모델은 loss function에 직접적으로 가중치를 부여함으로써 산불 이미지를 강제적으로 더 잘 분류하는 방향으로 학습을 진행하게 되지만 비산불 이미지를 산불 이미지로 오분류 하게 될 확률이 올라간다는 단점이 있다.

기본적으로 아무런 전처리를 하지 않은 채 학습에 사용할 batch를 생성하면 원본 데이터셋의 분포에 따라 각 Batch는 80%의 비산불 이미지와 20%의 산불 이미지를 포함하게 된다. 이로 인해 학습 과정에서 모델은 비산불 이미지에 더 많이 노출되며 결국 앞서 언급한 것과 같이 recall의 하락으로 이어질 수 있다. 따라서 학습에 사용될 batch를 생성하는 과정에서 강제로 산불 이미지를 더 많이 샘플링하여 각 batch가 동일한 비율의 산불과 비산불 이미지를 포함하도록 하는 equal sampling 방법을 적용하였다(Chawla et al., 2002). 하지만 이 방법은 강제로 특정 클래스를 많이 샘플링하기 때문에 모델이 같은 이미지를 반복 학습하게 되면서 과적합 문제가 발생할 수 있어 사용에 주의해야 한다.

본 연구에서는 image augmentation을 활용해 이러한 위험을 최소화하고자 하였다(Crichton, 2019). Image augmentation은 이미지를 불러오는 단계에서 이미지를 회전시키거나 뒤집는 등 다양한 변환을 통해 데이터셋의 크기를 크게 만드는 전통적인 전처리 기법이다. 본 연구에서는 이미지를 불러올 때 회전과 뒤집기를 이용하여 기존 산불 데이터를 보다 다양하게 만들어 equal sampling으로 인해 발생하는 문제점을 완화시켰다.

3.4. 평가 방법

본 연구에서는 hold-out 방식을 사용하여 학습과 검증 데이터를 분할하였다. 학습 데이터와 검증 데이터는 서로 다른 산불 케이스를 가지도록 분리하여 동일한 시간대에 동일한 지역의 이미지가 학습 데이터와 검증 데이터에 반복되지 않도록 하였다. 학습 데이터와 검증 데이터의 크기 비율은 8:2로 설정하였다. 성능 평가에 사용된 지표는 이진 분류 문제에서 널리 활용되고 있는 Overall Accuracy (OA), recall, precision, F1-score를 사용하였다(식2–5). Recall과 precision은 true positive, true negative, false positive, false negative를 이용해 계산된다. True positive는 실제 산불 이미지를 산불로 옳게 판단한 경우, true negative는 실제 비산불을 비산불로 옳게 판단한 경우이다. 반대로 false positive는 실제 비산불을 산불이라고 잘못 예측한 경우이고, false negative는 실제 산불을 비산불로 잘못 예측한 경우를 의미한다. Precision은 식(4)와 같이 계산되며 모델이 산불로 분류한 이미지 중 실제 산불 이미지의 비율을 나타내기 때문에 해당 값이 높으면 오탐지가 일어날 확률이 그만큼 낮은 것으로 간주할 수 있다. Recall은 식(5)와 같이 계산되며 실제 산불 이미지 중 모델이 산불로 분류한 이미지의 비율이고 실제로 산불이 발생했을 때, 모델의 탐지 성능을 대변한다. Precision과 recall 모두 분류 문제에서 중요한 척도로 사용되기 때문에 이 두 지표의 조화평균으로 계산되는 F1-score도 함께 사용하였다.

본 연구에서 사용된 4개의 성능 지표의 계산식은 다음과 같다.

\(\begin{aligned}\text {Overall accuracy}=\frac{\text { Number of correct samples }}{\text { Number of total sample }}\end{aligned}\)       (2)

\(\begin{aligned}\text {Recall}=\frac{\text { True positive }}{\text { True positive + False negative }}\end{aligned}\)       (3)

\(\begin{aligned}\text {Precision}=\frac{\text { True positive }}{\text { True positive + False positive }}\end{aligned}\)       (4)

\(\begin{aligned}\text {F1 score}=\frac{\text { Precision } \times \text {Rrecall}}{\text { Precision + Recall}}\end{aligned}\)       (5)

4. 연구 결과 및 분석

4.1. 동아시아 및 호주 산불 데이터셋의 분포와 특징

Figs. 5, 6은 각각 호주와 동아시아 데이터의 9개 입력 변수에 대한 분포를 나타내는 그래프이다. 동아시아와 호주는 AHI의 반구 촬영 영역에 포함되는 육상 지역 중 가장 넓은 면적을 차지하고 있다. 두 지역의 서로 상이한 환경 조건과 이에 따른 산불 특성의 차이는 산불 탐지 모델의 성능에 영향을 미칠 수 있기 때문에, 산불 탐지 모델링에 앞서 이들 환경 조건에 관한 분석을 수행하였다. 동아시아와 호주 두 지역에서 보조 입력 변수(LC, ST, RH, SOZ)는 산불과 비산불 샘플에 관하여 비슷한 분포를 보이는 반면, 주요 입력 변수(BT 관련 변수)는 산불과 비산불 샘플에 관하여 명확한 차이를 보였다. 이는 주요 입력 변수의 경우 산불의 열적 특성을 대변하는 변수로 산불과 명확한 상관성이 있는 반면, 보조 입력 변수는 위성의 관측과 환경 조건을 대변하는 변수로 산불과 직접적인 상관성이 없기 때문이다. 두 지역 모두에서 산불 샘플의 BT는 비산불 샘플과 비교하여 상대적으로 높은 값을 보였다. 단, BT07, BT07-12, BT07-14와 같은 각 픽셀 정보를 대변하는 변수의 경우 주변 환경 조건의 영향을 크게 받아 일부 산불과 비산불 샘플의 구별이 어려웠으나(Wooster et al., 2021; Wooster et al., 2012), SP07-12와 SP07-14 같은 공간 통계량을 대변하는 변수의 적용으로 크게 완화되었다(Flasse and Ceccato, 1996; Giglio et al., 1999).

Fig. 5. Histograms of input data for fire (orange) and nonfire (blue) samples in East Asia.

Fig. 6. Histograms of input data for fire (orange) and nonfire (blue) samples in Australia.

동아시아는 호주와 비교하여 상대적으로 낮은 ST와 RH를 보였다. ST는 주변 지역의 기준 온도를 대변하는 변수로써, 비산불 샘플의 BT 값을 증가시켜 오탐지의 원인이 된다(Kang et al., 2023; Peterson and Wang, 2013). RH는 산불의 발화점에 영향을 줄 뿐 아니라, RH가 높은 지역의 경우, 공기 중의 수증기가 BT 신호를 흡수하여 위성 센서에서 과소 추정의 원인이 되기도 한다(Ying et al., 2019). SOZ는 온도의 일변화와 관련이 있으며, 특히 산불 탐지에 사용되는 중적외선 파장의 경우 낮 시간대에 반사도의 영향을 크게 받기 때문에 SOZ에 따른 명확한 값의 차이를 보인다(Schroeder et al., 2014; Zhukov et al., 2006). 이처럼 보조 입력 변수들은 산불과 직접적인 상관성은 없지만 산불의 영향이 없어도 BT 값을 변화시킬 수 있는 원인이 될 수 있다. 따라서, 서로 다른 환경 특성을 가진 지역에 관한 분석과 더불어 산불 탐지 알고리즘에 필수적으로 고려되어야 한다.

4.2. 기법별 전체 정확도 비교 평가

Fig.7은 딥러닝 모델 성능 향상을 위해 제시했던 weighted loss, equal sampling, image augmentation을 적용하기 전의 모델 결과로, 이를 통해 CNN과 EfficientNet 사이의 구조적 차이에 따른 성능을 살펴볼 수 있다. Fig. 7을 통해 동아시아와 호주에서 EffcientNet과 lion optimizer를 사용한 모델이 기본적인 CNN 모델보다 precision, F1-score, OA 측면에서 높은 성능을 보여준다는 것을 알 수 있다. 특히 EfficientNet은 CNN과 비교하여 크게 향상된 precision을 보였으며, 앞서 언급한 것처럼 false alarm이 치명적인 혼란을 야기할 수 있는 산불 탐지 분야에서 매우 긍정적인 결과라고 볼 수 있다.

Fig. 7. Accuracy assessment results of CNN and EfficientNet for (a) East Asia and (b) Australia. OA means overall accuracy. The exact values are presented at the top of the bars without the leading zero.

4.3. 스킴(Scheme)별 전체 정확도 비교 평가

Fig. 8은 동아시아와 호주에 딥러닝 모델의 성능 향상을 위하여 제안한 3가지 기법을 각각 EfficientNet에 적용한 결과이다. 각 기법을 개별적으로 적용함으로써 특정 기법이 모델의 탐지 성능에 끼친 효과에 대해 분석하고자 하였다. Weighted loss와 equal sampling은 동아시아와 호주 데이터에서 공통적으로 recall을 소폭 향상시키고 precision을 감소시켰으며, 이는 F1-score를 감소시키는 결과로 이어졌다. Image augmentation의 경우, 산불과 비산불 이미지에 다양성을 주어 recall을 향상시키면서도 precision을 일정 수준으로 유지할 수 있었다. 동아시아에서는 recall이 5% 상승하면서 precision은 2% 감소하는 효과를 보였으며, 호주에서는 recall이 2% 상승하면서 precision은 감소하지 않는 효과를 보였다. 위의 결과를 통해 weighted loss와 equal sampling의 효과와 부작용, 그리고 image augmentation의 안정성에 대해 확인할 수 있었다.

Fig. 8. Accuracy assessment results of EfficientNets for (a) East Asia and (b) Australia. The original EfficientNet and those that applied weighted loss, equal sampling, and image augmentation were compared (refer to the legend). OA means overall accuracy. The exact values are presented at the top of the bars without the leading zero.

위 결과를 토대로, 세 가지 기법을 동시에 적용하여 weighted loss와 equal sampling으로 인하여 발생할 수 있는 precision 감소를 image augmentation이 완화시킴으로써 최종적으로 성능을 향상시킬 수 있는 지 평가하였다(Fig. 9).

Fig. 9. Accuracy assessment results for (a) East Asia and (b) Australia. The CNN, original EfficientNet and those that applied weighted loss, equal sampling, and image augmentation were compared (refer to the legend). OA means overall accuracy. The exact values are presented at the top of the bars without the leading zero.

세 가지 기법을 동시에 적용하였을 때, CNN과 EfficientNet 모두 적용 전에 비해서 성능이 향상된 것을 확인하였다. 그러나 CNN에 세 가지 기법을 적용한 이후에도 기법을 적용하기 전의 EfficientNet보다 F1-score와 OA가 낮게 나타났다. 따라서, 세 가지 기법은 딥러닝 모델 성능 향상에 분명한 효과가 있으나, 목적 달성을 위한 효율적인 딥러닝 기법을 선정하는 것이 가장 중요하다고 판단된다. 호주에서 EfficientNet은 세 가지 기법을 적용한 이후 recall과 precision에서 각각 3%와 1%의 향상을 보였다. 동아시아의 경우 recall에서 11%의 향상을 보였지만, precision에서 3%의 감소를 보였다. 세가지 기법을 동시에 적용한 결과는 각 기법을 개별적으로 적용했을 때와 비교하여 recall의 증가폭이 크게 향상되었다. 동아시아에서 발생한 precision 감소의 경우, 앞선 분석에서 확인되었던 weighted loss와 equal sampling의 부작용의 의한 결과라고 볼 수 있다. 그러나 precision의 3% 하락에 비해 recall의 상승 폭이 11%로 매우 높기때문에 세 가지 기법을 함께 적용한 것이 유의미한 성과를 보였다고 판단하였다.

4.4. 모델 결과 분석

산불과 비산불 샘플에 관하여 산불 탐지 모델이 올바른, 혹은 올바르지 못한 분류를 내린 조건을 분석하였다. 가장 높은 탐지 성능을 보인 EfficientNet에 세 가지 기법을 적용한 모델의 결과에 관하여 TP, FN, TN, FP의 각 범주에 해당하는 샘플들의 평균 입력 변수 이미지를 분석에 사용하였다(Figs. 10, 11). TP의 경우 이미지 중앙 지역이 주변 지역과 비교하여 명확히 높은 BT 값을 보인 반면, FN의 경우 이미지 중앙 지역의 BT 값이 TP의 경우와 비교하여 다소 낮았으며, 주변 지역에서도 일부 높은 BT 값을 보였다(Fig. 10). BT 영상은 산불 외에도 여러 환경 조건의 영향을 받을 수 있으며, 주변 환경 조건이 균일하지 못해 산불 신호가 명확히 구분되지 않는 지역에서 강도가 약한 산불에 관하여 미탐지가 주로 발생함을 알 수 있다. TP의 경우는 FN의 경우와 비교하여 비교적 낮은 RH와 ST를 보였다. 4.1절에 언급된 바와 같이 높은 RH와 ST는 산불 탐지 모델의 성능 저하의 원인이 될 수 있다. 해당 경향성은 동아시아에서 특히 두드러지며, 호주의 경우 ST에 따른 경향성이 보이지 않았다. 이는 동아시아의 경우 260°C에서 320°C 사이의 비교적 넓은 ST 범위를 가지는 반면, 호주는 280°C에서 320°C 사이로 대부분의 샘플이 높은 ST를 보이기 때문에 ST가 모델 결과에 미치는 영향이 약해진 것으로 보인다.

Fig. 10. Mean images of input data for true positive and false negative samples for both East Asia and Australia.

Fig. 11. Mean images of input data for true negative and false positive samples for both East Asia and Australia.

TN의 경우 이미지 내 대부분의 지역에서 낮은 BT 값을 보인 반면, FP의 경우 이미지 중앙 지역이 주변 지역과 비교하여 상대적으로 높은 BT 값을 보였다. 비산불 샘플은 산불 샘플과 비교하여 상대적으로 더 다양한 특성을 보이며, 낮 시간대의 반사도, 공업 지역의 열원 등 다양한 원인으로 인해 높은 BT 값을 가질 수 있다. TN의 경우 FP의 경우와 비교하여 높은 ST를 보였다. 4.1절에서 언급한 높은 ST로 인한 오탐지를 방지하기 위해 이를 산불 탐지 모델의 입력 변수로 활용하였고, 비슷한 BT 분포를 보일 때, ST가 높은 경우 산불일 가능성이 더 낮은 경향성을 모델이 성공적으로 학습한 것으로 보인다.

5. 결론

본 연구에서는 Himawari-8 AHI 위성 영상을 이용하여 동아시아 및 호주에서의 산불 탐지를 위한 딥러닝 모델을 개발하였다. 기본적인 CNN 구조와 SOTA 기법인 Efficient Net에 lion optimizer를 적용한 두 가지 모델을 비교하였을 때, CNN 모델의 성능(동아시아 F1-score: 0.83, 호주 F1-score: 0.78)에 비해서 EfficientNet이 훨씬 더 뛰어난 성능(동아시아 F1-score: 0.88, 호주 F1-score: 0.83)을 가진 것으로 평가되었다. 산불 탐지 모델의 훈련에서 마주할 수 있는 산불과 비산불 샘플 불균형 문제를 완화하기 위해서 weighted loss, equal sampling, image augmentation 기법을 적용했을 때, image augmentation은 precision의 감소 문제를 거의 일으키지 않으면서 recall을 향상시킬 수 있는 효과적인 방법으로 나타났다. 결과적으로, 불균형 문제 해결을 위한 세 가지 기법을 모두 적용했을 때 각 기법이 가진 단점을 효과적으로 상호 보완하며 동아시아와 호주에서 각각 0.92, 0.84의 F1-score 로 적용 전에 비하여 향상된 성능을 보임을 확인하였다.

본 연구에 따르면 EfficientNet은 동아시아와 호주에서 각각 다른 산불의 특성을 고려하여 최적의 모델을 만드는 데 적합하였으며, SOTA 딥러닝 기법의 산불 탐지 모델 적용 가능성과 딥러닝 모델의 성능 향상을 위해 고려해야 할 방향에 대해 제시했다는 의의가 있다. 본 연구에서는 산불과 비산불 샘플의 입력 변수 이미지를 이용하여 모델의 결과를 분석하였으나, 향후 설명가능한 인공지능 기법을 접목한다면 딥러닝 모델의 기작을 더 잘 이해할 수 있을 것으로 기대된다.