Analysis of detected anomalies in VOC reduction facilities using deep learning

Abstract

본 논문에서는 데이터의 이상을 탐지하고 예측하는 모델을 통해 VOC 저감 설비에서 실측한 데이터를 분석했다. 이상 탐지 분야에서 안정적인 성능을 보이는 USAD 모델을 이용하여 실시간 데이터의 이상을 탐지하고 이상 원인이 되는 센서를 탐색한다. 또한 자기 회귀 모델을 통해 미래의 이상치를 예측하여 이상이 발생할 시점을 예측하고 경고하는 방법을 제안한다. 실험은 VOC 저감 설비에서 실측한 데이터를 이용하여 시스템의 이상을 탐지할 수 있는지 검증하는 실험을 진행했으며 이상 탐지 실험 결과는 정밀도, 재현율, F1-점수가 각각 98.54%, 89.08%, 93.57%로 높은 성능의 탐지율을 보였다. 센서 별 학습된 모델의 성능은 8개 센서의 정밀도, 재현율, F1-점수를 평균한 결과 각각 99.64%, 99.37%, 99.63%로 높은 성능의 탐지율을 보였다. 또한, 센서 별 탐지 실험에 대한 타당성을 확인하기 위해 구한 해밍 손실은 0.0058로 안정적인 성능을 보였다. 그리고 이상 예측 실험 결과는 평균절대오차 0.0902로 안정적인 성능을 보였다.

In this paper, the actual data of VOC reduction facilities was analyzed through a model that detects and predicts data anomalies. Using the USAD model, which shows stable performance in the field of anomaly detection, anomalies in real-time data are detected and sensors that cause anomalies are searched. In addition, we propose a method of predicting and warning, when abnormalities that time will occur by predicting future outliers with an auto-regressive model. The experiment was conducted with the actual data of the VOC reduction facility, and the anomaly detection test results showed high detection rates with precision, recall, and F1-score of 98.54%, 89.08%, and 93.57%, respectively. As a result, averaging of the precision, recall, and F1-score for 8 sensors of detection rates were 99.64%, 99.37%, and 99.63%. In addition, the Hamming loss obtained to confirm the validity of the detection experiment for each sensor was 0.0058, showing stable performance. And the abnormal prediction test result showed stable performance with an average absolute error of 0.0902.

I. Introduction

휘발성 유기 화합물(Volatile Organic Compounds, VOC)은 일반 공장의 여러 공정에서 발생한다. 이는 대기 중에서 오존 등의 광화학 산화제를 생성해 광화학스모그를 유발하기도 하며, 발암성 물질이 포함되어 인체에 매우 유해하고 대부분의 VOC는 악취를 일으킨다. 따라서 공장에서 발생하는 오염 물질인 VOC를 처리하기 위한 VOC 저감 설비가 필요하다[1, 2]. VOC 저감 설비는 공정에서 발생하는 대기 오염 물질이나 산업 폐기물 소각시 발생하는 오염 물질 등을 처리하기 위한 설비이며[3], 인체에 유해한 가스, 미스트, 흄, 분진 등의 유해물질을 제거해 공기질을 개선하는 것을 목표로 한다. 현재 대기 오염 방지 설비를 효율적으로 관리하고 운용 상태를 감시하기 위한 모니터링 시스템이 개발되고 있다[4]. 하지만 기존의 모니터링 시스템은 설비의 온도, 습도, 기압 등을 측정하는 센서만을 사용하며 관리자가 직접 센서별 기준치를 지정하고, 시스템 내부에서는 지정 기준치를 초과하면 알림을 울리는 방식을 사용한다. 하지만 이는 알림이 울리면 관리자가 설비의 센서들을 개별적으로 다뤄서 직접 이상 기준을 설정해야 해 복합적인 설비 상태를 파악하기 어렵다[5].

관리자가 직접 설비를 파악해야 했던 기존의 모니터링 체계와 달리, 인공지능의 발전으로 머신 러닝이나 딥 러닝 기반의 이상 탐지 모델을 통해 자동으로 설비의 이상 여부를 파악하는 방법들이 연구되고 있다[6]. 딥 러닝 기반의 이상 탐지는 단변량 또는 다변량 시계열 데이터를 입력으로 사용한다. 단변량 시계열 데이터는 시간의 흐름에 따른 개별 센서의 흐름을 나타내며, 다변량 시계열 데이터는 시간의 흐름에 따른 다중 센서의 흐름을 나타낸다[7]. 다변량 시계열 데이터를 사용하는 모델들은 비정상 데이터를 종합적으로 판단해 여러 가지 경우의 이상 상황을 다룰 수 있지만, 문제 원인이 되는 센서를 파악하기 어렵다는 단점이 있다.

모니터링 시스템에서는 설비의 안정화를 위해 이상을 미리 예측하는 단계가 필요하다. 기존의 이상 조기경보, 이상징후 추적 시스템 등을 활용한 모니터링 시스템에서 과거 데이터를 분석해 현재 시점의 위험 정도를 파악할 수 있다[8]. Fig. 1.에서 기존의 이상 조기경보 시스템[8]은 예측하는 정상 값들과 실제 측정된 값의 차이가 큰 경우 잠재 고장으로 판단하며, 잠재 고장으로 판단된 시점부터 실제 경보 알람이 발생하기 전까지 조치 시간을 확보한다. 하지만, 언제 이상이 생길지 모르기 때문에 이상이 생길 시점을 미리 예측하는 것이 필요하다.

Fig. 1. Existing early warning system

따라서 본 논문에서는 이상 탐지 딥 러닝 모델을 사용해 이상 데이터를 판단하고 각 센서별 분포를 학습하여 이상이 발생한 시간에서 원인이 되는 센서를 파악할 수 있으며 시계열 예측 모델을 통해 이상이 발생할 것으로 예상되는 시점을 파악할 수 있도록 VOC 저감 설비의 실측 데이터를 분석한다.

본 논문은 다음과 같이 구성된다. 2장에서는 관련된 이상 탐지 및 예측 모델을 기술하고, 3장에서는 제안하는 이상 탐지 및 예측 모델 및 방법을 설명한다. 4장에서는 실험을 통해 모델의 성능을 평가하고 사용된 실측 데이터를 분석하며 5장에서는 결론 및 향후 연구를 기술한다.

II. Preliminaries

1. Related works

1.1 Anomaly detection

정상 데이터와 다른 패턴을 보이는 데이터를 비정상, 이상치, 예외 등으로 지칭하며[9], 이러한 데이터를 탐지하는 작업을 이상 탐지라고 하고, 이를 위해 사용되는 인공지능 모델을 이상 탐지 모델이라 한다. 이상 탐지 모델은 모델에서 산출한 이상치 점수에 따라 정상과 비정상을 구분한다.

오토인코더 기반 이상치 탐지[10]는 정상 데이터를 학습하므로 정상 데이터가 입력으로 주어지면 재구성 오차가 적음을 이용해 오토인코더의 재구성 오차를 이상치 점수로 사용한다. 데이터가 모델에 입력으로 사용됐을 때 발생되는 재구성 데이터와 입력으로 사용된 데이터 간의 차이인 재구성 오차에 따라 정상과 비정상 데이터를 구분한다. 어떤 입력에 대해 재구성 오차가 크다면 그 입력값은 비정상 데이터라고 판단한다. 그러나 이상치가 정상 데이터와 유사하다면 재구성 오차가 작아 이상치를 탐지하지 못하는 문제가 생긴다. 이러한 문제를 극복하기 위해서 데이터를 재구성하기 전 입력 데이터에 이상이 있는지를 식별하는 단계가 필요하다.

GAN 기반 이상치 탐지 모델은 판별기와 생성기를 통해 학습된 정상 데이터와의 유사성을 기반으로 정상과 비정상을 구분한다. 비정상 데이터가 모델의 입력으로 사용되면 학습된 정상 데이터의 분포와 다르므로 판별기는 입력 데이터를 생성기에서 온 가짜 데이터인 이상치로 분류한다[11]. 이때 판별기는 이상치 탐지기로 사용된다. GAN 기반 이상 탐지 모델은 학습 중 특정 값에 치우쳐 전체 분포에 대해 학습하지 못하는 모드 붕괴(mode collapse) 현상과 학습 매개변수들이 수렴하지 않고 진동하는 비수렴[12]과 같은 문제가 발생하기 쉽다.

USAD 모델[13]은 다변량 시계열에 대한 비지도 이상치 탐지를 목표로 하며 오토인코더와 GAN의 문제점을 개선한 딥 러닝 기반 비지도 이상 탐지 모델이다. 적대적 학습을 통해 정상 데이터와 유사한 이상 경우도 식별할 수 있도록 하여 오토인코더의 단점을 극복하고, 오토인코더 구조를 통해 GAN의 적대적 학습의 붕괴 및 비수렴 문제를 해결한다.

1.2 Anomaly prediction

과거부터 현재까지의 시계열 데이터 집합의 특성들을 분석하면 미래의 시계열 데이터를 예측할 수 있는 이상 예측 모델이 연구되고 있다. 시계열 예측은 통계 기반 모형, 기계 학습 기반 모형, 딥 러닝 모델 기반으로 존재한다. 또한, 자기회귀누적이동평균 모형[12], 지수평활 모형[12], RNN[14], LSTM[15] 등이 있다. 다양한 모델이 있지만 예측하고자 하는 데이터 집합의 특성에 따라 알맞은 모델을 선택하는 것이 중요하다.

회귀 모델 중 자기 회귀(Auto Regressive, AR) 모델[16]은 과거 값을 입력으로 하여 미래값을 예측한다. 차수의 자기 회귀 모델 AR(p)는 만큼의 관측치를 가진다. 시점의 시계열 \(\begin{aligned}\hat{y}_{t+1}\end{aligned}\)를 예측하는 방법은 식 (1)과 같다.

\(\begin{aligned}\hat{y}_{t+1}=c+\sum_{i=1}^{p} w_{i} \times y_{t-i}+e_{t}\end{aligned}\)       (1)

이때, y_{t-p, ⋯, t-1}는 y_t를 예측하기 위한 p만큼의 관측치이며, e_t는 백색 소음이다. w_i는 p만큼의 y_t-i에 곱해지는 가중치이고 AR 계수라고 한다. 자기 회귀 모델을 사용해 예측할 미래의 시간 길이를 h라고 한다면, 기존의 자기 회귀 모델은 h가 1일 때, 즉 한 단계만 예측이 가능하다. 만약 더 긴 시간을 예측하는 것이 필요하다면, 필요한 h만큼의 모델이 만들어지고 h개의 모델을 반복 예측해야 한다.

AR-Net[16]은 기존의 자기 회귀 모델을 기반으로 신경망을 결합하여 긴 시간 예측이 가능한 모델이다. p만큼의 과거 데이터 y = {y_t-p+1, ..., y_t}로 \(\begin{aligned}\hat{y}_{t+1}\end{aligned}\)을 예측한다. 자기 회귀 모델이 h길이의 미래를 예측할 때 h개의 모델을 반복해야 했던 반면에, AR-Net은 긴 시간 예측에 강한 모델로 현재부터 p만큼의 과거 데이터 y = {y_t-p+1, ..., y_t}를 사용해 h만큼의 미래 데이터 \(\begin{aligned}\hat{y}=\left\{\hat{y}_{t+1}, \ldots, \hat{y}_{t+h}\right\}\end{aligned}\)를 예측할 수 있어 한번에 많은 예측값을 얻을 수 있다. 이 과정을 식 (2)와 같이 표현한다.

\(\begin{aligned} \hat{y} & =\left\{\hat{y}_{t+1}, \ldots, \hat{y}_{t+h}\right\} \\ & =\operatorname{AR}-\operatorname{Net}\left(y_{t-p+1}, \cdots, y_{t-1}, y_{t}\right)\end{aligned}\)       (2)

III. The Proposed Scheme

1. Anomaly detection model

개별 센서의 이상 탐지를 하기 위해 먼저 비지도 이상 탐지 모델을 사용해 전체 센서에 대한 이상 탐지를 한다. 만약 어떤 시점에서 비정상이라고 판단된다면, 어떤 센서에 이상이 생겼는지를 탐지한다. 1.1에서는 사용한 이상 탐지 모델을 소개하고, 1.2에서는 제안하는 이상 탐지 모델 구조를 소개한다. 그리고 1.3에서 이상 예측 모델과 그 방법을 제안한다.

1.1 USAD

두 개의 오토인코더들은 정상값을 가진 입력 윈도우 W를 재구성하도록 학습하며, 각각의 오토인코더는 적대적 학습 방식으로 학습된다.

모델의 학습은 Fig. 2.와 같이 두 단계로 이뤄진다. 먼저 각 오토인코더 AE₁과 AE₂를 학습시키는데, 입력 데이터 W는 인코더 E에 의해 잠재 공간 Z로 압축된 다음 각 디코더 D에 의해 재구성되며 재구성 오차를 줄이는 것을 목표로 학습된다. 두 번째 단계에서는 실제 데이터와 AE₁로 부터 온 데이터인 AE₁(W)를 구분하는 것을 목표로 AE₂를 학습시키며, AE₁은 AE₂를 잘 속이는 것을 목표로 학습된다. 따라서 적대적 학습 방식에 따라 AE₁의 목표는 W와 AE₂의 출력값의 차이를 최소화하는 것이고, AE₂의 목표는 W와 AE₂의 출력값의 차이를 최대화하는 것이다.

Fig. 2. USAD Model Architecture

모델의 출력값인 이상치 점수 A(W)는 식 (3)과 같이 정의된다.

A(W) = α||W - AE₁(W)||₂ + β||W - AE₂(AE₁(W))||₂       (3)

이때, α와 β는 실제 틀린 값을 분류 모델에서 예측이 맞다고 판단하는 추론인 FP(False Positive)와 실제 맞는 값을 분류모델에서 예측이 맞다고 판단된 TP(True Positive)간 상관관계를 가지는 변수이며 α + β = 1이라는 특성을 가진다.

1.2 Anomaly detection model

이상 탐지 모델은 Fig. 3.과 같이 입력 윈도우에 대해 사전 학습된 AE₁과 AE₂를 통해 계산된 이상치 점수 A를 출력값으로 가진다. 이상치 점수는 라벨 집합 y∈{0,1}을 기준으로, 임계값보다 크거나 같으면 라벨 1이 부여되며 비정상이라고 판별되고, 임계값보다 작으면 라벨 0이 부여되며 정상이라고 판별된다. 임계값은 학습 결과에 따라 높은 F1 점수를 가지도록 설정되었다. 비정상이라고 판단된 k시점의 x_k는 이상 센서 탐지 모델의 입력으로 사용된다.

Fig. 3. Anomaly Detection Model Architecture

이상 센서 탐지 모델은 이상 탐지 모델의 출력값 중 비정상이라고 판단된 k시점의 x_k가 입력으로 사용된다. Fig. 4.는 이상 센서 탐지 모델 구조를 나타낸 그림이다. x_k는 센서 개수인 n크기의 벡터로 각각의 원소는 사전 학습된 센서 별 모델의 입력으로 사용된다. 그리고 모델에서 사용되는 임계값은 λ = {λ₁, λ₂, ...λ_n}벡터로 각 센서별 임계값을 가지는 벡터이다. 모델의 출력값은 센서 별 이상치 점수이며 센서별 임계값을 기준으로 임계값보다 크거나 같은 이상치 점수는 비정상 라벨 1이 부여되며 임계값보다 작은 이상치 점수는 정상 라벨로 판단된다.

Fig. 4. Anomaly Sensor Detection Model Architecture

1.3 Anomaly prediction model

모델은 이상 탐지 모델의 결과값인 이상치 점수 집합을 입력값으로 사용한다. 현재 시점까지 축적된 과거의 이상치 점수 집합을 학습해 식 (2)와 같은 미래 이상치 점수 집합 \(\begin{aligned}\hat{y}\end{aligned}\)을 예측한다. 이때 학습된 모델의 평균 절대 오차(Mean Absolute Error, MAE)를 이용해 미래 데이터의 위험도를 판단한다.

실제값의 이상 여부의 판단 기준이었던 경계값 λ에서 MAE를 뺀 값을 Λ라고 했을 때, Λ 미만인 값은 정상값이며 Λ 이상인 값은 비정상값으로 판단하며 비정상으로 판단된 시점 t + μ에서 위험이 발생할 가능성이 있다고 한다. 위험도를 판단하는 기준은 식 (4)와 같으며, 위험도 라벨 Ar ∈ {0, 1, 2, 3}에 따라 정상은 0, 저위험은 1, 중위험은 2, 고위험은 3로 라벨링한다.

\(\begin{aligned}A r=\left\{\begin{array}{ll}3, & y_{t+\mu} \geq \Lambda+2(M A E) / 3 \\ 2, & \Lambda+(M A E) / 3 \leq y_{t+\mu}<\Lambda+2(M A E) / 3 \\ 1, & \Lambda \leq y_{t+\mu}<\Lambda+(M A E) / 3 \\ 0, & y_{t+\mu} \leq \Lambda\end{array}\right.\end{aligned}\)       (4)

논문에서 제안하는 이상 예측 방법(Fig. 5.)은 현재 시점 t까지의 과거 데이터인 실제값을 p 차수의 자기 회귀 모델로 학습해 예측된 미래 데이터에서 지정 임계값을 넘는 시점(μ)을 이상 시점이라고 하며 식 (4)에 따라 위험도를 나눈다.

Fig. 5. Anomaly Prediction Model Architecture

IV. Experiments

1. Experiments Settings

실험은 구글 코랩(Google Colab)의 주피터(Jupyter) 노트 환경에서 진행되었으며, CUDA 11.2 버전과 Python 3.7.15, 그리고 PyTorch 1.12.1 버전으로 했다.

1.1 VOC reduction facility data analysis

VOC 저감 설비는 휘발성 유기 화합물(VOC)을 촉매산화방법으로 분해한다. 촉매산화방법이란 물질 고유의 활성화에너지를 낮추어 물질 고유의 자동발화온도 이하의 저온에서도 분해가 가능하고 연료 소모량을 최소화함과 동시에 93% 이상의 높은 처리율이 가능해 신뢰성이 높은 휘발성 유기 화합물 분해 시스템이다. 실험에는 Motor 공장의 도정공정에서 사용된 온도 및 기압 실측 데이터가 사용되었으며, 제안하는 모델의 유효성을 설명하기 위해 이상 탐지 분야에서 가장 많이 사용되는 공개 데이터 세트인 SWaT 데이터 세트에서도 실험을 진행했다.

1.2 Dataset settings

이상 탐지 모델의 학습은 정상 데이터만을 가진 정상 데이터 세트에서 이뤄졌고, 테스트는 정상 데이터와 비정상 데이터가 섞여 있는 테스트 시나리오에서 이뤄졌다. 실험은 SWaT 공개 데이터 세트와 VOC 저감 설비에서 얻은 실데이터 세트에서 진행했다. Table 1.과 Table 2.는 이상 탐지 데이터 세트의 학습 데이터 수, 테스트 데이터 수, 차원, 이상치 비율을 나타낸 표이다. SWaT은 51개의 차원을 가지고 있는 다변량 시계열 데이터 세트이며, 학습 데이터는 494,988개이고, 테스트 데이터는 449,907개이다. 테스트 데이터 세트의 이상치 비율은 약 12.13%이다. 실측 데이터 세트의 학습 데이터는 41,832개이며, 테스트 데이터는 52,897이고 24개의 차원을 가지고 있고 테스트 데이터 세트의 이상치 비율은 약 4.9%이다.

Table 1. Anomaly Detection Datasets-1

Table 2. Anomaly Detection Datasets-2

이상 예측 실험은 이상 탐지 모델을 통해 얻은 이상치 점수 데이터를 사용했다. 이때, 실험 데이터는 반드시 비정상 상황이 포함돼야 하므로 정상 데이터와 비정상 데이터가 섞여 있는 공격 시나리오의 이상치 점수 데이터를 사용했다. Table 3.은 이상 예측 실험에서 사용된 데이터 세트의 학습 데이터 수와 테스트 데이터 수이다. SWaT의 학습 데이터 수는 359,925개이고 테스트 데이터 수는 89,982개이며, 실측 데이터 세트의 학습 데이터 수는 43,208개이고 테스트 데이터 수는 10,577개이다.

Table 3. Anomaly Prediction Datasets

1.3 Evaluation Metrics

본 연구에서는 이상 탐지 모델의 성능을 평가하기 위해 정밀도(Precision, P), 재현율(Recall, R) 및 F1 점수(F1 score, F1)를 사용했다.

\(\begin{aligned}P=\frac{T P}{T P+F P}\end{aligned}\)       (5)

\(\begin{aligned}R=\frac{T P}{T P+F N}\end{aligned}\)       (6)

\(\begin{aligned}F 1=2 \cdot \frac{P \cdot R}{P+R}\end{aligned}\)       (7)

정밀도는 양성 클래스에 속한다고 판별된 클래스 중 실제 양성 클래스에 속하는 데이터 수의 비율이고, 재현율은 실제 양성 클래스에 속한 표본 중 양성 클래스에 속한다고 판별된 데이터 수의 비율이며, F1 점수는 정밀도와 재현율의 조화 평균으로 불균형 데이터 세트에서 정확한 평가를 위해 주로 사용되는 지표이다. 이때, TP는 True Positives로 실제 정답을 정답이라고 예측한 것이고, TN은 True Negatives로 실제 정답이 아닌 것을 실제 정답이 아니라고 예측한 것이고, FP는 False Positives로 실제 정답이 아닌 것을 실제 정답이라고 예측한 것이며, FN은 False Negatives로 실제 정답인 것을 정답이 아니라고 예측한 것이다.

이상치 탐지기의 예측 성능을 평가하는 방법으로 ROC 곡선의 AUC 점수를 사용했다. ROC 곡선은 이진 분류 모델의 예측 성능을 판단하는 중요한 지표로, FPR이 변할 때 TPR이 어떻게 변하는지 나타내는 곡선이다.

\(\begin{aligned}T P R=Recall=\frac{T P}{F N+T P}\end{aligned}\)       (8)

\(\begin{aligned}T N R=\frac{T N}{F P+T N}\end{aligned}\)       (9)

\(\begin{aligned}F P R=1-T N R=\frac{F P}{F P+T N}\end{aligned}\)       (10)

TPR은 민감도라고 불리며 재현율과 정의가 같다. TNR은 실제 정답이 아닌 값이 정확히 예측되어야 하는 수준을 나타내는 특이성으로, FPR을 구할 때 사용된다. AUC 점수는 1에 가까울수록 신뢰도가 높은 분류기라고 평가되는데 대개 0.8 이상이면 아주 훌륭한 성능을 가진 분류기라고 평가된다.

이상 센서 탐지 모델들의 예측 성능을 평가하는 방법으로 해밍 손실(Hamming Loss)을 사용했다.

\(\begin{aligned}\text {Hanning Loss}=\frac{1}{N L} \sum_{i=1}^{N} \sum_{j=1}^{L} I\left(\hat{y}_{i}^{j} \neq y_{i}^{j}\right)\end{aligned}\)       (11)

해밍 손실은 L개의 라벨을 가진 N개의 데이터에 대해 괄호 안의 조건을 만족하면 1, 그렇지 않으면 0을 반환하는 함수인 I 함수를 사용해 전체 레이블 중 잘못 분류된 레이블의 비율을 의미한다. y^j_i는 i번째 데이터의 j번째 레이블이며, \(\begin{aligned}\hat{y}_{i}^{j}\end{aligned}\)는 모델의 예측값이다. 해밍 손실은 0에서 1사이 값을 가지며 0에 가까울수록 오분류된 레이블의 비율이 낮으므로 좋은 성능을 가진 모델로 평가된다.

회귀 모델에서 사용되는 평균절대오차(Mean Absolute Error, MAE)는 모든 절대 오차의 평균이다. 이는 오차값에 절대값을 취하기 때문에 모든 오차에 동일한 가중치를 부여하며 식(12)와 같다.

\(\begin{aligned}M A E=\sum_{i}\left|y_{i}-\hat{y}_{i}\right|\end{aligned}\)       (12)

회귀 모델에서 사용되는 또 다른 평가 지표는 평균 제곱근 편차(Root Mean Square Errer, RMSE)이며 식 (13)와 같다.

\(\begin{aligned}R M S E=\sqrt{\frac{1}{N} \sum_{i}\left(y_{i}-\hat{y}_{i}\right)^{2}}\end{aligned}\)       (13)

1.4 Hyperparameter Settings

이상 탐지 모델에서 사용된 초매개변수 설정값은 Table 4.과 같다.

Table 4. Anomaly Detection Model Hyperparameters

이상 예측 학습에 사용된 초매개변수 설정값은 Table 5.와 같다.

Table 5. Anomaly Prediction Model Hyperparameters

1.5 Experiments Results

이상 탐지 모델의 실험 결과는 다음 Table 6.과 같다. SWaT 공개 데이터 세트에서 실험한 결과 정밀도는 94.56%를 달성하였고, 재현율은 70.70%, F1 점수는 80.94%를 달성하였다. AUC 점수는 약 0.8000으로 Fig. 6.에서 알 수 있듯이 안정적인 학습 결과를 보였다. 그리고 VOC 저감설비인 ARECA V의 실측 데이터 세트에서 실험한 결과 정밀도는 98.54%를 달성하였고, 재현율은 89.08%, F1 점수는 93.57%를 달성하였다. Fig. 7.에서 알 수 있듯이 AUC 점수는 약 0.8935로 안정적인 성능을 가진 모델이라는 것으로 확인되었다.

Table 6. Anomaly Detection Experiments Result

Fig. 6. Evaluation of Anomaly Detection Model on SWaT

Fig. 7. Evaluation of Anomaly Detection Model on Real Dataset

이상 센서 탐지 모델의 실험 결과는 다음 Table 7.과 같다. 모델의 성능을 평가할 수 있는 비정상 데이터가 포함된 센서는 8개로 평균 정밀도는 99.64%, 평균 재현율은 99.37%, 평균 F1 점수는 99.63%로 높은 평균 탐지율을 보였다. 해밍 손실은 0.0058로 오분류된 레이블의 비율이 낮았다. 각 센서 별 결과는 Table 8.과 같다. 가장 높은 정밀도는 99.99%이며 가장 낮은 정밀도는 99.03%이고, 가장 높은 재현율은 100%, 가장 낮은 재현율은 96.65%이고, 가장 높은 F1 점수는 99.99%이며 가장 낮은 F1 점수는 98.84%를 달성하였다.

Table 7. Anomaly Sensor Detection Experiments Result

Table 8. Anomaly Detection for Each Sensor Experiments Result

예측 모델의 실험 결과는 Table 9.와 같다. SWaT 데이터 세트에서 실험한 결과 학습 데이터 세트의 MAE는 0.0179, RMSE는 0.0314이고 테스트 데이터 세트의 MAE는 0.0021, RMSE는 0.0026이다. 실측 데이터 세트에서 실험한 결과 학습 데이터 세트의 MAE는 0.0902, RMSE는 0.1076이며 테스트 데이터 세트의 MAE는 0.0800, RMSE는 0.0900이다.

Table 9. Anomaly Prediction Experiments Result

실험 결과에 따라 MAE와 RMSE의 차이가 크지 않은 것으로 보아, 제안하는 모델은 오류값에 대해 덜 민감한 것으로 판단되므로 안정적인 모델임을 확인할 수 있다.

Fig. 8.은 예측 모델에서 MAE를 뺀 값을 경계값으로 했을 때 실측 데이터의 이상 예측에 대한 실험 결과이다. 경계값 0.43을 기준으로 MAE값인 0.0902를 뺀 값을 보면, 저위험부터 고위험까지 모두 확인할 수 있다.

Fig. 8. Anomaly Prediction experiment result of Real Dataset

V. Conclusions

본 논문에서는 VOC 저감 설비의 실시간 운용 상태를 감시할 수 있는 모니터링 시스템을 설계하기 위해 딥 러닝 기반의 비지도 이상 탐지 모델과 자기 회귀 기반의 시계열 예측 모델을 사용했다. 기존의 환경 설비 모니터링 시스템들은 대부분 관리자가 설비 상태를 직접 확인하고 센서로 부터 데이터를 받아 이상 범주를 직접 설정하는 단계를 가진다. 딥 러닝 기반의 이상 탐지 모델을 활용한다면 관리자의 개입 없이 설비의 이상을 탐지할 수 있으며 이상치 점수 데이터를 이용해 미래의 이상치 점수를 예측함으로써 이상이 생길 시점을 미리 알 수 있다.

향후 더 복잡한 비정상 시나리오에 대해 안정적으로 이상을 판단할 수 있는 모델을 개발하는 연구가 필요하다. 또한, 이상 예측을 설계할 때 이상이 발생할 미래 시점에서 영향을 줄 가능성이 큰 센서를 밝혀 설비의 상태를 더 안정적으로 운영할 수 있는 실시간 설비 운용 모니터링 시스템을 구축할 필요성이 있다.