Evaluation of Oil Spill Detection Models by Oil Spill Distribution Characteristics and CNN Architectures Using Sentinel-1 SAR data

Sentienl-1 SAR 영상을 활용한 유류 분포특성과 CNN 구조에 따른 유류오염 탐지모델 성능 평가

Abstract

Detecting oil spill area using statistical characteristics of SAR images has limitations in that classification algorithm is complicated and is greatly affected by outliers. To overcome these limitations, studies using neural networks to classify oil spills are recently investigated. However, the studies to evaluate whether the performance of model shows a consistent detection performance for various oil spill cases were insufficient. Therefore, in this study, two CNNs (Convolutional Neural Networks) with basic structures(Simple CNN and U-net) were used to discover whether there is a difference in detection performance according to the structure of CNN and distribution characteristics of oil spill. As a result, through the method proposed in this study, the Simple CNN with contracting path only detected oil spill with an F1 score of 86.24% and U-net, which has both contracting and expansive path showed an F1 score of 91.44%. Both models successfully detected oil spills, but detection performance of the U-net was higher than Simple CNN. Additionally, in order to compare the accuracy of models according to various oil spill cases, the cases were classified into four different categories according to the spatial distribution characteristics of the oil spill (presence of land near the oil spill area) and the clarity of border between oil and seawater. The Simple CNN had F1 score values of 85.71%, 87.43%, 86.50%, and 85.86% for each category, showing the maximum difference of 1.71%. In the case of U-net, the values for each category were 89.77%, 92.27%, 92.59%, and 92.66%, with the maximum difference of 2.90%. Such results indicate that neither model showed significant differences in detection performance by the characteristics of oil spill distribution. However, the difference in detection tendency was caused by the difference in the model structure and the oil spill distribution characteristics. In all four oil spill categories, the Simple CNN showed a tendency to overestimate the oil spill area and the U-net showed a tendency to underestimate it. These tendencies were emphasized when the border between oil and seawater was unclear.

SAR 이미지의 통계적 특징을 이용하여 유류오염영역을 특정하는 방법은 분류규칙이 복잡하고 이상값에 의한 영향을 많이 받는다는 한계가 있어, 최근 인공신경망을 기반으로 유류오염영역을 특정하는 연구가 활발히 이루어지고 있다. 하지만, 다양한 유류오염 사례에 대해 모델의 탐지 성능 및 특성을 평가한 연구는 부족하였다. 따라서, 본 연구에서는 기본적인 구조의 CNN인 Simple CNN과 픽셀 단위의 영상 분할이 가능한 U-net을 이용하여, CNN의 구조와, 유류오염의 분포특성에 따른 모델의 탐지성능차이가 존재하는지 분석하였다. 연구결과, 축소경로만 존재하는Simple CNN과 축소경로와 확장경로가 모두 존재하는U-net의 F1 score는 86.24%와 91.44%로 나타나, 두 모델 모두 비교적 높은 탐지 정확도를 보여주었지만, U-net의 탐지성능이 더 높은 것으로 나타났다. 또한 다양한 유류오염 사례에 따른 모델의 성능 비교를 위해, 유류오염의 공간적 분포특성(유류오염 주변의 육지의 분포)과 선명도(유출된 기름과 해수의 경계면이 뚜렷한 정도)를 기준으로, 유류오염 발생사례를 4가지 유형으로 구분하여 탐지 정확도를 평가하였다. Simple CNN은 각각의 유형에 대해 F1 score가 85.71%, 87.43%, 86.50%, 85.86% 로 유형별 최대 편차가 1.71%인 것으로 나타났으며, U-net은 동일한 지표에 대해 89.77%, 92.27%, 92.59%, 92.66%의 F1 score를 보여 최대 편차가 2.90% 로 두 CNN모델 모두 유류오염 분포특성에 따른 수치상 탐지성능의 차이는 크지 않은 것으로 나타났다. 하지만 모든 유류오염 유형에서 Simple CNN은 오염영역을 과대탐지 하는 경향을, U-net은 과소탐지 하는 경향을 보여, 모델의 구조와 유류오염의 유형에 따라 서로 다른 탐지 특성을 가진다는 것을 확인하였고, 이러한 특성은 유류오염과 해수의 경계면이 뚜렷하지 않은 경우 더 두드러지게 나타났다.

1. 서론

유류오염(oilspill)은 해양 생태계를 위협하고, 주변 지역사회의 관광업 및 어업에 피해를 주는 등주변에 미치는 파급효과가 크다. 유류오염 피해를 최소화하기 위해서는 오염이 발생하였을 때에 유출 영역을 신속하고 정확하게 특정하고, 유류오염이 어떠한 방향 및 속도로 확산될지 예측하여 이에 적합한 방제활동이 필요하다.

인공위성 기반의 유류오염탐지는 항공기 기반의 탐지에 비해 보다 넓은 지역을 모니터링 할 수 있기 때문에 유류오염 탐지 시 공간적 범위에서 장점을 가진다 (BrekkeandSolberg, 2005). 특히 SAR(SyntheticAperture Radar)는 마이크로파를 이용하는 능동형 안테나로, 기상상황이나 주야에 상관없이 관측이 가능하다는 장점 때문에 SAR를 이용하여 유류오염을 탐지하는 많은 연구가 이루어졌다(Solberget al., 1999; Lu, 2003; Fingasand Brown, 2014; Fanet al., 2015). SAR에서 강도(intensity)는 송출한 마이크로파가 후방 산란되어 안테나로 되돌아오는 에너지의 세기를 나타낸다. 해상에 유류 오염이 존재할 경우, 바다표면의 점성도(viscosity)가 증가하여 잔물결(capillarywaves)을 감소시키기 때문에 브래그 산란 (braggscattering)이 약화된다(DelFrateet al., 2000). 따라서 오염영역의 후방산란계수가 주변 바다에 비해 작기 때문에 SAR영상에서 어두운 영역으로 관측이 된다(Alpers andHühnerfuss, 1998; Triveroet al., 1998). 하지만 유류오염이 아닌 경우에도 낮은 강도 값을 가질 수 있다. 예를 들어, 바람이 약하게 불거나, 바다의 내부파, 유기물에 의한 막에 의해서 낮은 강도값을 가질 수 있기 때문에, 유류오염영역을 특정할 때는 신중한 해석이 필요하다(BrekkeandSolberg, 2005).

유류오염탐지는 이미지에서 통계적 특징을 추출하고 이를 통해 유류오염영역을 특정하는 방식과 인공신경망을 이용하는 방식이 대표적으로 이용된다. 대부분의 선행연구에서 유류오염을 특정하는 방법은(1) 이미지에서 낮은 강도 값을 가지는 영역(darkspot)탐지, (2) darkspot의 통계적 특징 추출(featureextraction), (3) 유류오염과 darkspot의 통계적 특징 비교를 통한 유류오염영역 분류(classification)의 과정으로 일반화할 수 있다. Darkspot탐지는, 유류오염 전문가의 육안 판독(visual inspection)(DelFrateet al., 2000; DeSouzaet al., 2006) 또는, global thresholding(Fiscellaet al., 2000; Nirchioet al., 2005)이나adaptivethresholding(Bjerdeet al., 1993; Solberg et al., 1999; Shetaet al., 2012) 등, thresholding을 이용한 방법이 주로 사용된다. 탐지한 dark spot은 다양한 통계적 특징을 기반으로 oilspill로 분류된다. Bjerdeet al. (1993)은 darkspot을 가장자리의 복잡도(complexityofregion boarder) 등 3가지의 특징을 이용하여 유류오염 영역을 구분하였고, Solberget al. (1999)은 유류오염영역의 크기 (slickarea), 기름과 해수의 경계면의 변화도(border gradient) 등의 11가지 유류오염특징을, Shetaet al. (2012)는 darkspot에 해당하는 픽셀의 개수, 픽셀의 평균, 표준편차 등의 8가지 특징을 이용해 오염영역을 탐지하였다. 그외에도 Stathakiset al. (2006)은 25개의 특징을 이용해 유류오염영역을 구분하는 등 유류오염을 탐지하 기 위해 다양한 조합의 유류오염 특징이 이용되었다. 각각의 유류오염 특징값이 가질 수 있는 범위를 제한하여 oilspilldomain을 지정하거나, 일반적인 유류오염의 특징별 확률분포와 darkspot의 확률분포를 비교하는 방법 등과 같이 통계적 특징을 이용한 방법은, 분류규칙이 복잡하고, 이상값(outliers)에 민감하여 다양한 유류오염사례에 대해 일정한 수준의 탐지능력을 보여주지 않는다는 단점이 있다(DelFrateet al., 2000). Frate에 따르면, 이러한 문제는 다차원의 입력 이미지에 대해 비선형적 매핑(mapping)이 가능한 신경망을 이용하는 것이 대안이 될 수 있다. 따라서 이미지 분류 결과가 이상값에 민감하지 않고 안정적인 신경망의 특징을(Krestenitiset al., 2019) 이용하여 유류오염을 탐지하는 많은 연구가 이루어져왔다(DeSouzaet al., 2006; Topouzeliset al., 2007; Singhaet al., 2013). DeSouzaet al. (2006)은 featureextraction 과정에서 다층 퍼셉트론을 이용하여 유류오염을 탐지하였고, Topouzeliset al. (2007)와 Singhaet al. (2013) 은 2개의 신경망을 연속적으로 이용하여 각각 darkspot 탐지와 oil spill 분류에 이용하였다. Krestenitiset al. (2019)은 UNet, LinkNet, PSPNet과 3가지 버전의 DeepLab 아키텍처를 이용하여 신경망의 구조별 유류오염 탐지속도와 탐지성능 차이를 비교하였다. 하지만 Topouzeliset al. (2007)에서, 기름과 해수의 경계가 뚜렷하지 않은 이미지의 탐지 정확도가 떨어지는 사례가 존재하였으나, 신경망을 이용한 대부분의 선행연구는 모든 유류오염 이미지에 대한 평균적인 성능 향상이나, 아키텍처별 성능 비교에 집중하는 사례가 많았다. 유류오염 탐지모델이 특정한 종류의 유류오염에서 낮은 탐지성능을 보이는 경우, 탐지시스템의 실효성이 떨어지므로, ‘유류오염 주변 육지 존재 유무’나‘기름과 해수의 경계면이 뚜렷한 정도’등 영상의 오분류를 초래할 수 있는 요소를 고려하여 다양한 유형의 유류오염에 따라 탐지모델의 성능을 검증할 필요성이 대두된다.

따라서 본 연구에서는 다른 딥러닝(deeplearning) 기법과 비교하여 이미지처리에 최적화되어 있고, 2차원적인 특징을 학습하고 추출하는데 효과적이라고 알려져 있는 CNN(ConvolutionalNeuralNetwork)을 이용하여 (Alomet al., 2018), CNN의 구조와 유류오염의 분포 특성에 따라, 모델의 탐지능력에 차이가 있는지를 분석하는 것을 목적으로 한다. 그 과정으로는 첫째, 해상에서 유류오염이 발생하였을 때, 표면의 높은 점성도로 인해 발생하는 낮은 강도값과 텍스처(texture) 특성을 이용하여 6개의 입력 레이어를 선정하였다. 둘째, Simple CNN 구조와 U-net구조의 두 가지 CNN을 이용하여 유류오염 이미지학습과, 테스트 이미지를 추론을 진행하였다. 마지막으로, 유류오염이 발생한 다양한 사례를 오염 주변의 공간적 분포특성과 해수와의 혼합도를 기준으로 4가지 유형으로 구분하여 모델의 탐지 성능에 차이가 있는지를 비교하였다. 모델의 성능은FAR, 재현율, 정밀도, F1 score의 4가지 지표를 이용한 정량적 평가와 유류오염 유형별 정성적 평가를 함께 진행하였다. 

연구 방법은 총 4개의 절로 나누어 2장에 제시되었으며, 각각의 절에서는 Sentine-1 자료취득 방법 및 전처리기법, groundtruth데이터 구축방법, 연구에 이용된 CNN구조와 hyperparameter설정, 마지막으로 모델의 정확도 검증 방법에 대하여 설명하였다. 3장에서는 테스트 이미지에 대해, 연구에서 이용된 2개의 CNN모델이 추론한 결과를 앞서 구분한 4가지 유류오염 유형에 따라 해석하였다. 결과 별 해석요약 및 추가논의, 결론은 4장과 5장에 제시되었다.

2. 연구방법

본 연구의 개괄적인 흐름은 Fig. 1을 따라 진행된다. Sentinel-1 영상으로부터 4단계의 전처리를 거친 후, VV 편파, VH편파, 입사각, GLCM(GreyLevelCo-occurrence Matrix) 텍스처 이미지를 이 용해학습에 이용할 입력자료를 제작하였다. 유류오염이 발생하는 다양한 환경에서 CNN의 유류오염 분석능력에 차이가 있는지를 확인하기 위해, SimpleCNN과 U-net, 두 가지 구조의 CNN을 이용해 학습하고, 각 모델의 추론 결과를 4가지 유류오염 유형으로 나누어 분석하였다.

Fig. 1. Flow chart of the research methodology. GLCM texture analysis images (homogeneity, ASM, entropy) and SAR images (VV, VH, angle of incidence) are merged as a six-band dataset after the preprocessing step. Oil spill areas are specified by two models, ‘Simple CNN’ and ‘U-net’.

1) Sentinel-1 자료취득 및 영상처리

본 연구에서는 NOAA (NationalOceanicandAtmospheric Administration) (https://incidentnews.noaa.gov/browse/ date/)와ITOPF(InternationalTankerOwnersPollution Federation) (https://www.itopf.org/)의 공개자료를 통하여 유류오염의 시간과 위치 등의 기초정보를 획득하였다. 획득한 기초정보를 근거로 66개의 Sentinel-1 위성영상에서 122개의 유류오염 이미지를 제작하였다. 취득한 SAR영상을 활용하기에 앞서서 유럽우주국(European SpaceAgency, ESA)에서 개발한 위성자료처리 공개 소프트웨어인 SNAP(SeNtinelApplicationPlatform)을 이용하여 방사보정, 스페클필터링, 지형보정의 전처리를 진행하였다(Mirandaet al., 2015; Zenget al., 2017; Filipponi, 2019). 스페클 필터링의 경우 스캔창의 중앙 픽셀을 기준으로 2표준편차 범위 내의 픽셀 값을 평균하여 중앙 픽셀을 대신하는 방식으로, 간단하면서도 효과적으로 스페클 노이즈를 제거하는 LeesigmaFilter를 7×7 크기의 window size로 이용하였다(Leeet al., 2008). 지형보정은 SRTM(ShuttleRadarTopographyMission) 3 Sec 수치표고모델(DEM, DigitalElevationModel)을 사용하였고, 전 세계에 분포하는 유류오염을 효과적으로 표현하기 위해EPSG(EuropeanPetroleumSurveyGroup): 4326 좌표계를 이용하였다. 습득한 전체 유류오염 자료 중 연구에 사용된 이미지에 대하여, 해당 유류오염이 발생한 지역을 지도 위에 표시하였고, 발생일, 유출근원, 유출유의 종류 등 유류오염 사고 특성에 대한 정보를 함께 정리하여 Fig. 2에 나타내었다.

Fig. 2. Oil spill location and detailed accident characteristics. The area where the oil spill occurred was displayed on the map for the images showed in this paper. Information on the oil spill accidents, such as the date of occurrence, the source of the spill, and the oil type was displayed for each image.

2) 학습자료 생성

(1) 편파와 입사각 레이어

입사파나 반사파의 편광상태는 산란체의 산란 메커니즘 정보를 제공하기 때문에 원격탐사에서 중요한 역할을 한다. 바다처럼 상대적으로 매끄러운 표면의 경우 편광상태(polarizationstate)가 변하지 않아 동일 편파 (co-polarization)인 HH편파와 VV편파의 값이 동일하게 높은 값으로 나타난다. 하지만, 해수면으로부터의 후방 산란계수는 수평편파(H)보다 수직편파(V)가 더 높기 때문에 해양연구에서는 VV편파가 선호된다(Angelliaume et al., 2018).

또한, 위성에서 송신한 마이크로파가 공기 중에서 바다(유류오염)표면으로 입사하는 것과 같이, 다른 두 매질 사이에 전자기파가 입사할 때, 프레넬 방정식에 의해 입사파가 반사되는 양과 투과되는 양은 매질의 유전율과 입사각에 의존한다. 따라서 입사각이 증가할수록 후방산란되는 에너지가 감소하므로 이를 보완하기 위해 입사각을 입력 레이어에 포함하였다. 또한, 입사각에 의한 영향을 충분히 반영할 수 있도록, Sentinel-1이 제공하는 단일편파(VV)와 이중편파(VV+VH) 자료 중, VV 편파보다 입사각의 영향을 더 많이 받는 VH편파를 포함하는(Yekeenet al., 2020) 이중편파(VV+VH) 자료를 이용하였다. 따라서 Sentinel-1 SAR이미지를 통해 VV, VH, 입사각의 총 3가지 입력 레이어를 제작하였다.

(2) 텍스처 분석 레이어

일반적으로 유류오염 영역은 바다보다 높은 점성도로 인해 텍스처가 주변과 다르다는 특징을 가지고 있기 때문에, 텍스처 분석기법을 이용하여 효과적으로 유류오염을 탐지할 수 있다(Marghany, 2001). GLCM은 이미지에서 픽셀의 특정 패턴이 발생하는 빈도를 행렬로 나타낸 것으로, 이미지의 텍스처 특징을 간단하게 계산할 수 있다(Haralicket al., 1973).

\(\begin{aligned} P\left(i, j, d, 0^{\circ}\right)=& \#\left\{((k, l),(m, n)) \in\left(L_{y} \times L_{x}\right) \times\right.\\ &\left(L_{y} \times L_{x}\right)|k-m=0,| l-n \mid=\\ &d, I(k, l)=i, I(m, n)=j\} \end{aligned}\)                  (1)

\(\begin{aligned} P\left(i, j, d, 45^{\circ}\right)=& \#\left\{((k, l),(m, n)) \in\left(L_{y} \times L_{x}\right) \times\right.\\ &\left(L_{y} \times L_{x}\right) \mid(k-m=d, l-n=-d) \\ & \text { or }(k-m=-d, l-n=d), \\ &I(k, l)=i, I(m, n)=j\} \end{aligned}\)        (2)

\(\begin{aligned} P\left(i, j, d, 90^{\circ}\right)=& \#\left\{((k, l),(m, n)) \in\left(L_{y} \times L_{x}\right) \times\right.\\ &\left(L_{y} \times L_{x}\right)|| k-m \mid=d, l-\mathrm{n}=\\ &0, I(k, l)=i, I(m, n)=j\} \end{aligned}\)                (3)

\(\begin{aligned} P\left(i, j, d, 135^{\circ}\right)=& \#\left\{((k, l),(m, n)) \in\left(L_{y} \times L_{x}\right) \times\right.\\ &\left(L_{y} \times L_{x}\right) \mid(k-m=\mathrm{d}, l-\mathrm{n}=\mathrm{d}) \\ & \text { or }(k-m=-d, l-n=-d), \\ &I(k, l)=i, I(m, n)=j\} \end{aligned}\)         (4)

분석할 이미지가 N_x개의 열과 N_y개의 행을 가진 직사각형이라고 가정하고, 픽셀의 회색조 단계가 N_g단계로 구분되어 있다고 가정한다. 또한, 이미지의 행은L_x = {1, 2, …, N_x}이고 열은 L_y= {1, 2, …, N_y}, 회색조 단계는 G_x= {1, 2, …, N_g}로 구성되어 있다고 가정한다. 이때, 이미지 I는 G개의 회색조 단계를 L_y×L_x의 좌표쌍에 해당하는 함수로 표현할 수 있다. GLCM 텍스처 분석은 기준 픽셀과 이웃 픽셀 2개 간의 패턴을 고려하는데, 이 패턴의 빈도 수를 행렬로 표현한 것이 바로 상대 빈도 (relativefrequency) 행렬P_ij이다. 수식 1, 2, 3, 4는 기준 픽셀이 (i, j)일때, 거리가 d이며 특정 각도(0°, 45°, 90°, 135°)를 가진 이웃 픽셀과의 상대 빈도 행렬을 나타낸 것이다. #는 기준 픽셀과 이웃 픽셀이 가지는 특정패턴의 개수를 의미한다(Haralicket al., 1973).

본 연구에서는 GLCM 텍스처 분석 중에서도 유류오염 탐지에 효과적이라고 알려진 homogeneity, ASM (AngularSecondMoment), entropy를 사용하여(Marghany, 2001) 유류오염 학습자료로 사용하였다(Fig. 3).

\(\sum_{i, j=0}^{N-1} \frac{P_{i, j}}{1+(i-j)^{2}}\)           (5)

\(\sum_{i, j=0}^{N-1} P_{i, j}^{2}\)                    (6)

\(\sum_{i, j=0}^{N-1} P_{i, j} \times\left(-\ln P_{i, j}\right)\)       (7)

Fig. 3. GLCM texture analysis results. (a) Preprocessed VV image, (b) Homogeneity, (c) ASM, (d) Entropy. Oil spill areas which have relatively uniform intensity values are bright in (b) and (c), but dark in (d).

식(5)의 homogeneity는 기준 픽셀과 이웃 픽셀의 차이가 작을수록 큰 가중치를 준다. 픽셀의 강도 값이 공간의 분포에 따라 변하는 바다와는 달리, 유류오염 영역은 높은 점성 때문에 표면이 잔잔하여 이웃 픽셀과의 후방산란 에너지의 차이가 거의 없다. 따라서 homogeneity를 이용하여 유류오염 영역을 특정할 수 있다. 식(6)의 ASM과 식(7)의 entropy는 픽셀의 강도값의 균일도 또는 정렬도를 나타낸다. ASM은 값이 클수록 균일하게 분포하는 영역이고, 반대로 entropy는 값이 클수록 균일하지 않다. 마찬가지로, 유류오염 영역은 바다와 비교하여 더 균일한 픽셀의 강도값을 가지기 때문에 유류오염 영역을 쉽게 특정할 수 있다.

(3) Groundtruth데이터 구축

Groundtruth데이터는 전처리를 마친 Sentinel-1 이미지에서 유류오염 전문가의 육안판독을 통해 유류오염 영역을 1, 육지 및 선박을 포함한 비오염 영역을 0으로 라벨링하여 생성하였다. 유출영역을 정확하게 특정하는 과정에서는 전문가의 개입을 통한 digital processing 이 적용되었다. 육안판독을 통해 유류오염영역과 비오염영역이 가장 뚜렷하게 구분되는 지점을 전역 임계값으로 설정하고, 픽셀 군집화를 통한 작은 군집 제거 및 중앙값필터(medianfilter) 적용을 통해 노이즈를 제거하는 digitalprocessing 과정을 거쳤다. 이렇게 제작된 라벨자료는 다시 한번 전문가의 육안판독을 통해 필요한 경우 수정되어 최종적으로 Fig. 4과 같은 ground truth 데이터를 획득하였다.

Fig. 4. Examples of oil spill SAR images and the corresponding ground truth masks. (a) VV polarization SAR images, (b) Label data produced through visual inspection, (c) Labels of oil spill area were overlaid in blue over the SAR images.

3) CNN구조와 hyperparameter 설정

본 연구에서는 CNN의 유류오염 탐지성능이 다양한 유류오염 사례에 대해 어떠한 차이를 보이는지 평가하기 위해, 축소경로만 존재하는 기본적인 구조의 Simple CNN과, 학습자료의 개수가 제한적인 유류오염 사고 데이터의 특성을 반영하여 적은 숫자의 데이터로도 높은 분류정확도를 보이는 U-net의(Ronnebergeret al., 2015) 두가지 구조의 CNN을 이용하였다.

첫 번째 모델인 SimpleCNN은 전처리를 거친 총 100개의 Sentinel-1 SAR 훈련 이미지에서 Fig. 5와 같이 육안판독을 통해 유류오염 영역 300개, 비오염영역 300개로 구분하여 학습자료를 제작하였다. 해당자료는 hyperparameter를 설정하기 위해 진행한 예비분석에서 가장 좋은 분류정확도를 보인 7×7 크기로 분할되어 총 40만개의 패치가 입력자료로 사용되었다. SimpleCNN의 구조는 합성곱 레이어(convolutionallayer), 풀링 레이어(poolinglayer), 완전 연결 레이어(fullyconnectedlayer)로 구성된다(Fig. 6).

Fig. 5. Examples of Simple CNN training dataset. 300 non-oil spill areas represented by purple polygons and 300 oil spill areas marked as orange polygons were produced by visual inspection.

Fig. 6. Simple CNN architecture in this research (adapted from Alom et al., 2018).

합성곱 레이어는 식(8)과 같이 표현된다. 현재 레이어의 출력인 x_i ^l는, 선택된 모든 입력 맵 M_j에 대해, 이전 레이어의 출력 x_i ^l–1에 현재 레이어의 커널 k^l _ij을 곱하고, 현재 레이어의 편향(bias) \(b_{j}^{l}\)을 더한 값을 입력값으로 가지는 활성화 함수 f의 함숫값으로 정해진다. 본 연구에서는  padding이 없이 3×3 크기의 커널을 설정하였고, 활성화 함수로는 양의 영역에서 saturation 현상을 방지 하면서, 다른 활성화 함수보다 연산속도가 빠른 ReLU를 사용하였다(Glorotet al., 2011).

\(x_{i}^{l}=f\left(\sum_{i \in M_{j}} x_{i}^{l-1} * k_{i j}^{l}+b_{j}^{l}\right)\)       (8)

풀링은 합성곱을 통해 추출된 특징(feature)를 줄이는 다운 샘플링(downsampling)과정을 의미하며, 이 과정을 반복하여 낮은 수준에서 점차 더 높은 수준의 특징을 추출할 수 있다. 본 연구에서는 2×2 크기에 stride가 2인 최대 풀링(max-pooling)을 이용하여, 이전 계층의 특징 맵에서 커널영역에 속하는 값 중 최대 값을 선택해 새로운 특징 맵을 형성하게 하였다.

마지막 레이어는 2번의 합성곱과 최대 풀링을 적용한 특징 맵을 하나의 열로 재정렬(flattening)한 뒤, 이 자료를 입력값으로 가지는 완전 연결 레이어이다. 완전 연결 레이어란, 한 레이어의 모든 뉴런이 다음 레이어의 모든 뉴런과 연결된 상태를 의미하며, 특징을 결합하고, 더 중요한 특징에 가중을 주어서 더 정확하게 이미지를 구분하게 한다. 활성화 함수는 마찬가지로 ReLU를 이용하였고, 과적합 방지를 위해 모델학습시, 0.5의 비율로 dropout을 실행하는 과정을 추가하였다. 이 레이어의 마지막에는 여러 개의 입력값에 대해 함숫값의 합이 1이 되게 하는 soft-max함수를 적용하여, 마지막 레이어의 결과값을 정규화하여 나타내었다. 정규화된 결과와 groundtruth를 비교하여, 모델의 신뢰도를 나타내는 손실함수(lossfunction)를 계산하고, 오차를 역전파(back- propagation)하며, 손실함수가 최소화되는 방향으로 최적의 파라미터를찾는다. 손실함수는 정확한 수학적 프레임 워크를 이용하면서도 연산 속도 향상이 가능한 crossentropy함수를 사용하였고(DeBoeret al., 2005; Hui et al., 2005), optimizer는 연산이 효율적이면서도 안정적인 최적화가 가능한 Adam을 사용하였다(KingmaandBa, 2014). Simple CNN 의 학습은 hyperparameter 선정을 위해 진행한 예비분석결과를 토대로 128의 batchsize, 0.1의 학습률로 총 50번의 epoch를 통해 진행되었다.

두 번째 모델인 U-net은 CNN의 한 종류로 영상분할 기반의 딥러닝 모델이며, 적은 숫자의 훈련 자료로도 높은 분류 정확도를 나타내는 것으로 알려져 있다 (Ronnebergeret al., 2015).

또한, 확장경로 없이 합성곱 층과 최대 풀링 층으로만 구성되어 해상도의 손실이 큰 Simple CNN과 달리, U-net은 확장경로에서 상승 합성곱을 이용한 업샘플링을 통해 높은 해상도의 이미지를 얻을 수 있는 특징이 있다.

U-net의 구조는 왼쪽의 축소경로(contractingpath)와 오른쪽의 확장경로(expansivepath)로 이루어져 있다 (Fig. 7). 본 연구에서 축소경로는 padding을 적용하여 이미지의 해상도는 유지한 채로, 두 번의 3×3 합성곱과 최대풀링을 반복적으로 적용하여 구성된다. 합성곱 단계에서 활성화함수는 ReLU가 이용되고, 특징 채널의 개수는 2배씩 증가하며 계층이 내려갈 때마다 2×2 최대풀링이 이용된다. 따라서 축소경로에서, 이미지는 크기는 줄어들면서 점차 많은 수의 특징 채널을 가지게 된다.

Fig. 7. U-net architecture in this research (adapted from Ronneberger et al., 2015). The size of the input dataset is 160 × 160, and zero padding was used in each convolution step to preserve the image size.

확장경로에서는 2×2 상승 합성곱(up-convolution)을 통해 특징 채널의 수를 절반으로 줄이는 업샘플링(upsampling)을 한다. 이때, 축소경로에서 포착한 특징맵의 context를 복사하여 연결(concatenation)하므로써 더 정확한 localization이 가능하도록 한다. 마지막 레이어에서는 1×1 합성곱을 사용하여 유류오염영역과 비오염영역의 2개의 클래스로 이미지를 분류한다(Ronneberger et al., 2015). U-net 역시 마찬가지로 손실함수로는 cross- entropy함수를, optimizer로는 Adam을 사용하였고, 예비분석 결과를 참고하여, 128의 batchsize, 0.001의 학습률로, 총 50번의 epoch를 통해 학습하였다.

Simple CNN과 U-net모델의 훈련과 성능평가에는 동일한 훈련 데이터셋과 테스트 데이터셋을 사용하였다. 총 122개의 Sentinel-1 SAR 유류오염이미지 중 약 80%인 100개의 이미지는 다시 80%와 20%로 나뉘어 각각 모델 학습과 검증을 위한 자료로 이용하였고, 전체 자료에서 무작위로 선택된 나머지 20%인 22개 이미지는 학습된 모델을 이용하여 추론하는데 사용하였다.

4) 정확도 검증 방법

CNN 모델이 유류오염이 발생하는 다양한 경우에서 어떠한 탐지성능의 차이를 보이는지 확인하기 위해, 영상의 오분류 유발요소를 아래와 같이 가정하여 유류오염 발생사례를 4가지 유형으로 구분하였다. 선행연구에서 기름과 해수의 경계가 명확하지 않은 이미지의 경우, 모델의 유류오염 탐지능력이 떨어지는 사례가 존재하였으므로, 기름과 해수 경계의 명확도가 오분류를 초래할 수 있는 요소 중 하나라고 가정하였다. 또한, 해상 유류오염 영상 내 육지는, 해수면과 비교하여 산란 특성이 매우 다르고, 비연속적으로 존재하기 때문에 영상 내 육지의 존재 유무 역시 영상 분류 정확도에 영향을 미칠 수 있다고 가정하였다. 각각의 유형에 따른 모델의 추론 결과는 정량적으로 평가되었고, 정량적 평가에서 나타나지 않는 유류오염 특성별 분류결과를 육안 판독을 통해 비교하였다. 유류 오염 분포 특성에 따른 4가지 유형은 다음과 같다.

①해상에 유류오염만 존재하며, 기름과 해수의 경계가 뚜렷하지 않은 경우

②해상에 유류오염만 존재하며, 기름과 해수의 경계가 뚜렷한 경우

③유류오염영역 근처에 육지가 존재하며, 기름과 해수의 경계가 뚜렷하지 않은 경우

④유류오염영역 근처에 육지가 존재하며, 기름과 해수의 경계가 뚜렷한 경우

두 분류모델의 성능을 정량적으로 평가하기 위해, 픽셀 단위의 분류모델 성능평가지표(confusionmatrix)를 이용하였다(Table1).

Table 1. Confusion matrix

모델의 성능은 분류모델 성능평가지표를 이용해 FAR(FalseAlarmRatio), 재현율(Recall), 정밀도(Precision), F1 score의 4가지 지표로 평가하였다(Tharwat, 2020). 위의 4가지 지표는 Table 1을 이용하여 수식 12, 13, 14, 15와 같이 표현할 수 있다.

\(F A R=\frac{F P}{F P+T N}\)                             (12)

\(\text { Recall }=\frac{T P}{T P+F N}\)                         (13)

\(\operatorname{Precision}(P O D)=\frac{T P}{T P+F P}\)       (14)

\(\text { F1 score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}=\frac{2 T P}{2 T P+F P+F N}\)       (15)

식(12)의 FAR은 실제로는 유류오염 영역이 아니지만, 모델이 오염영역으로 추론한 픽셀의 비율을 의미한다. 식(13)으로 표현되는 재현율은 민감도(sensitivity)라고도 하며 실제로 유류오염으로 구분된 영역 중, 모델도 마찬가지로 유류 영역으로 추론한 픽셀의 비율이다. 정밀도는 POD(ProbabilityofDetection)이라고도 불리며, 모델이 유류오염으로 추론한 픽셀 중 실제로도 유류오염인 픽셀의 비율로, 식(14)로 표현된다. 마지막으로, 정밀도와 재현율은 서로 상충하는 개념의 지표이기 때문에 두 지표의 조화 평균을 나타내는 F1 score를 이용하여 모델의 전반적인 성능을 하나의 수로 표현할 수 있다. 정확도 검증을 위한 4가지 지표는 모델이 추론한 이미지와 groundtruth 이미지를 픽셀단위로 비교하여 confusion matrix를 생성하고, 이를 수식에 대입하여 계산되었다.

3. 연구결과

1) 정량적 비교

추론에 이용한 22장의 이미지에 대해, 모델의 전반적인 성능평가에 용이한 F1 score를 이용하여 두 개의 CNN모델을 평가하였다(Fig. 8). 모델의 평균 F1 score는 SimpleCNN이 0.8624, U-net이 0.9144로 평균적인 탐지 정확도는 U-net모델이 Simple CNN모델보다 약 0.052 더 높았다. 모든 이미지에 대해 일관된 탐지 정확도를 보여주는지에 대한 지표인 표준편차는 Simple CNN이 0.0190, U-net이 0.0251로 Simple CNN 모델의 변동성이 조금 더 작았지만, 두 모델 모두 비교적 안정적인 성능을 보였다.

Fig. 8. F1 scores of two models for all 22 data in the inference dataset. For all images, the mean (μ) and standard deviation (σ) of U-net are 0.9144 and 0.0251, respectively, and those of Simple CNN are 0.8624 and 0.0190.

Table 2는 두 모델의 추론 결과를 앞서 구분한 4가지의 유류오염 발생 유형으로 나누어 평가한 결과이다. 모든 테스트 이미지의 평균값을 통해 모델별 유류탐지 성능을 비교해보면, Simple CNN모델의 재현율은 0.9653으로 매우 높지만, 정밀도는 0.7715로 다소 낮다. 이는 실제 유류 오염영역은 잘 탐지하지만, 모델이 유류오염으로 추론한 영역이 실제로는 오염영역이 아닐 가능성이 있다는 의미로, 모델이 ground truth와 비교해 오염영역을 과대 탐지하는 경향이 있음을 의미한다. U-net 모델은 이와 반대로 재현율이 0.8586으로 정밀도인 0.9731보다 낮다. 즉 모델이 유류오염으로 추론한 영역은 매우 높은 확률로 오염영역이 맞지만, 실제 유류오염을 비오염영역으로 추론할 가능성이 있다는 의미로, Simple CNN과는 반대로 오염영역을 과소탐지하는 경향이 있음을 나타낸다. FAR의 경우 Simple CNN이 0.0321, U-net이 0.0029로 유류오염을 오탐지하는 비율은 U-net에서 훨씬 낮았다.

Table 2. Performance of Simple CNN and U-net model by four oil spill categories (Each category was divided according to the clarity of the border between oil and seawater, and the presence of land near oil spills)

유류오염 발생유형에 따른 모델의 성능을 Table2에서 F1 score를 통해 비교하면, Simple CNN은 유류오염 근처에 육지가 존재하지 않으며 기름과 해수가 뚜렷하게 구분된 경우, F1 score가 0.8743으로 가장 높은 추론 결과를 보였다. U-net의 경우에는 유류오염 근처에 육지가 있으면서 기름과 해수의 구분이 뚜렷한 경우를 0.9266의 F1 score로 가장 잘 탐지하였다. 그러나, 유류오염 발생유형에 따른 F1 score의 최대 편차가 Simple CNN의 경우 0.0171, U-net이 0.0290으로 Simple CNN의 추론 결과가 미세하게 더 작은 변동성을 보였지만, 두 모델 모두 유류오염 분포 특성에 따른 수치상의 유의미한 탐지 성능 차이는 나타내지 않았다.

2) 정성적 비교

Fig. 9은 각각의 유류오염 유형에 대하여 SimpleCNN 모델과 U-net모델이 추론한 유류오염 영역을 Sentinel-1 SAR이미지, ground truth와 함께 나타낸 것이다. 육안판독을 통해 분석하였을 때, 전반적으로 두 모델 모두 ground truth와 높은 수준의 유사성을 보였다. 또한, 앞서 정량적 평가에서도 나타난 것처럼, 4가지 사례에서 공통적으로 Simple CNN은 ground truth보다 유류오염 영역을 더 넓게 탐지하는 경향을 보였고, 반대로 U-net은 ground truth 보다 유류오염을 영역을 작게 탐지하는 경향을 보였다. 이러한 경향은, 사례②와 ④ 같이 유류오염과 해수의 경계가 분명하지 않은 경우 더 두드러지게 나타났다. 유류오염과 해수의 경계가 분명한지에 따라 두 모델 사이에 탐지 경향의 차이가 발생한 것과 달리, (①, ②) 그리고 (③, ④)를 비교해 보았을 때, 유류오염 근방의 육지의 존재 유무는 두 모델의 성능에 영향을 주지 않았다. 따라서, 결과를 정성적으로 평가하였을 때, CNN을 통한 유류오염 영역탐지는 오염이 발생하는 다양한 유형에 대하여 일정한 수준의 성능을 보이지만, 모델의 구조에 따라 영역을 다소 과대탐지하거나 과소탐지하는 경향을 보이고, 이러한 경향은 유류오염과 해수경계면이 뚜렷하게 구분되지 않는 경우 더욱 심화되는 것으로 나타났다.

Fig. 9. Model inference results for four categories by the two models. ①Only oil spill with clear borders appears in the sea.

4. 토의

유류오염 탐지에 딥러닝이 적극적으로 활용되기 시작하면서, 가장 좋은 성능을 보이는 CNN 구조가 무엇인지 비교하는 많은 연구가 이루어졌다. 그러나, 유류오염의 발생위치와 그 형태의 다양성이 매우 높은 것에 비해, 다양한 유류오염 사례에 대해 CNN 모델이 어떠한 탐지 성능이나 특성을 보이는지와 관련한 연구는 부족하였다. 유류오염 탐지모델이 특정유형의 오염에 대해 낮은 수준의 추론능력을 보여준다면, 모델의 전반적인 탐지정확도가 높더라도 탐지모델이 실제 유류오염 방제활동에 사용될때, 그 실효성이 떨어지게 된다.

이러한 관점에서 본 연구는 발생가능한 유류오염 사례와 CNN의 구조에 따른 유류오염 탐지 성능 및 특성을 비교하는 의의를 가진다. 본 연구에서는 2가지 구조의 CNN을 이용하고, 유류오염을 4가지 유형으로 구분하여 모델의 탐지 성능을 정량적(Table2), 정성적(Fig. 8) 평가를 통해 검증하였다. 정량적 분석 결과, 전반적인 유류오염 탐지 성능은 U-net (91.44%)이 Simple CNN (86.24%)보다 더 높았다. 모든 추론 이미지에 대한 F1 score의 표준편차(SimpleCNN: 0.0190, U-net: 0.0251)나, 오염유형별 최대편차(SimpleCNN: 1.71%, U-net: 2.90%) 를 통해 평가하였을때, 두 모델 모두 유류오염분포 특성에 따른 수치상의 탐지 성능 차이를 보이지는 않았다. 하지만, 재현율과 정밀도를 이용한 비교나, 육안판독을 통해 평가하였을 때, Simple CNN은 유류오염을 ground truth보다 과대탐지하는 성향을, 반대로 U-net은 과소탐지하는 경향을 보였고, 이러한 경향은 유류오염과 해수경계면의 선명도가 낮은 유형일수록 두드러지게 나타났다.

Simple CNN의 경우, Fig. 4와 같이 해수와 유류오염의 경계 부분이 아닌, 유류오염의 중심 영역만 구분하여 입력자료로 사용하였음에도 경계가 뚜렷하지 않는 부근까지 유류오염으로 탐지하는 결과를 보여주었기 때문에, Simple CNN의 추론 과정에 대한 추가논의가 필요할 것으로 판단된다. 또한, U-net 모델은 오염영역의 과소 탐지 경향을, Simple CNN 은 과대 탐지 경향을 보였으므로, 후속 연구에서는 Simple CNN 과 U-net 각각의 특징을 살려, 유류오염 영역을 보다 정확하게 탐지할 수 있는 새로운 CNN 구조개발이 제안된다. 추가적으로, 본 연구에서는 유류오염 영역탐지에서 중요하게 다루어지는 기름유사체와 기름을 구분하여 탐지하는 경우를 다루지 않았으므로, 기상정보, 바람, 해류 등과 같은 추가자료를 활용해 유류오염영역과 기름유사체를 구분할 수 있는 방안을 제시하는 연구가 필요할 것으로 판단된다.

본 연구에서는 재방문 시간과 데이터 취득의 용이성 등을 고려하여 C-band 주파수의 SAR위성인Sentinel-1 을 이용하였다. 주파수 대역에 따라, 유출된 기름의 두께별로 유류오염탐지 확률이 상이한 것으로 알려져 있으므로(Hammoudet al., 2019), 단일주파수를 이용하였을때에는 유류오염탐지 확률이 모든 두께의 유류에 대해 일정하지는 않으나, 연구의 초점인 유류오염 분포 특성별 CNN 모델의 성능과는 연관성이 낮아, 해당 부분은 고려되지 않았다.

5. 결론

기름유출은 해양환경을 위협하는 주요 요인 중 하나로, 유출영역에 대한 효율적인 모니터링이 필요하다. 특히, SAR를 이용한 유류오염 원격탐사는 기상상황이나 주야에 관계없이 자료획득이 가능하여 SAR이미지에서 유류오염 영역을 특정하는 많은 연구가 이루어졌다. 통계적 특징을 이용하여 오염영역을 특정하는 방법은 분류 규칙이 복잡하고 이상값에 의한 영향을 많이 받는다는 한계가 있어, 최근 신경망을 이용하여 유류오염 영역을 특정하는 연구가 활발히 이루어졌다. 하지만, 이러한 연구 중 모델이 다양한 형태의 유류오염에 대해 탐지성능의 차이를 보이는지 검증한 연구는 부족하였다.

본 연구에서는 이러한 통계적 방법의 한계를 극복하고, CNN의 유류오염 탐지성능이 다양한 오염유형에 대하여 어떠한 차이를 보이는지 분석하기 위해, 1) 두 가지 구조의 CNN을 이용하여 유류오염 영역과 비오염영역을 구분하고, 2) CNN 의 구조에 따른 성능의 차이가 있는지, 3) CNN이 유류오염이 발생하는 다양한 경우에 있어서 탐지성능의 차이를 보이는지, 유류오염을 4가지 유형으로 나누어 분석하였다. 결과적으로 본 연구에서 제안하는 방법을 통해 Simple CNN은 86.24%, U-net은 91.44%의 F1 score로 유류오염을 탐지하여, U- net이 더 높은 성능을 보여주었다. 또한, 유류오염 발생사례를 유류오염의 공간적 분포특성(육지의 존재 유무)과 유출된 기름과 해수경계면의 선명도에 따른 4가지 유형으로 구분하여 탐지결과를 비교하였다. 그 결과, 모든 4가지 유형에 대해 Simple CNN 모델은 오염영역을 과대 탐지하고, U-net은 과소 탐지하는 경향이 존재하였고, 이러한 경향은 유류오염의 공간적 분포 특성의 차이보다는 유류오염과 해수의 경계가 분명하지 않는 유형에서 더 뚜렷하게 나타났다.

본 연구는 SAR영상을 활용한 두 가지 유류오염 탐지 CNN모델을 제시하였고, 모델구조에 따른 탐지정확도의 차이, 유류 오염 분포 특성에 따른 탐지 경향성의 차이가 있음을 보였다. 현재 국내 SAR 위성은 X-band의 다목적실용 위성 5호가 유일하나, 다목적실용 위성 6호 등 향후 SAR를 탑재한 위성의 발사가 계획되어 있으므로, SAR 영상을 활용한 해양오염 탐사의 국내 활용성이 더욱 높아질 것으로 예상된다. 따라서 본 연구는 추후 CNN 기반의 유류오염 탐지모델을 실제 방제 활동에 이용할 때, 모델의 정확도를 평가하기 위한 참고자료로 이용될 수 있을 것으로 판단된다.