Development of a Deep Learning-based Fire Extinguisher Object Detection Model in Underground Utility Tunnels

딥러닝 기반 지하 공동구 내 소화기 객체 탐지 모델 개발

Abstract

Purpose: The purpose of this paper is to develop a deep learning model to detect fire extinguishers in images taken from CCTVs in underground utility tunnels. Method: Various fire extinguisher images were collected for detection of fire extinguishers in the running-based underground utility tunnel, and a model applying the One-stage Detector method was developed based on the CNN algorithm. Result: The detection rate of fire extinguishers photographed within 10m through CCTV video in the underground common area is over 96%, showing excellent detection rate. However, it was confirmed that the fire extinguisher object detection rate drops sharply at a distance of 10m or more, in a state where it is difficult to see with the naked eye. Conclusion: This paper develops a model for detecting fire extinguisher objects in underground common areas, and the model shows high performance, and it is judged that it can be used for underground common area digital twin model synchronizing.

연구목적: 본 논문은 지하공동구 내 CCTV에서 촬영된 영상에서 소화기를 탐지하기 위해 딥러닝 모델을 개발하는데 목적이 있다. 연구방법: 딥러닝 기반 지하공동구 내 소화기 탐지를 위해 다양한 소화기 이미지를 수집하였으며 CNN 알고리즘을 기반으로 하여 One-stage Detector 방식을 적용한 모델을 개발하였다. 연구결과: 지하공동구 내 CCTV 영상을 통해 10m 이내의 거리에서 촬영되는 소화기의 검출률은 96%이상으로 우수한 검출률을 보여준다. 다만 10m 이상의 거리에서는 육안으로도 확인하기 힘든 상태로, 소화기 객체 검출률이 급격하게 낮아지는 것을 확인하였다. 결론: 본 논문은 지하공동구 내 소화기 객체를 검출하는 모델을 개발하였으며, 해당 모델이 높은 성능을 보여 지하공동구 디지털트윈 모델 연동에 활용할 수 있을 것으로 판단된다.

서론

연구 배경 및 목적

최근 시설물에서 발생할 수 있는 다양한 상황을 가상모델과 연계하여 시뮬레이션하는 디지털트윈 기술을 적용한 연구가 다수 진행 중이다. 도심지의 전력, 통신, 배수관 등 라이프라인을 포함하는 지하공동구의 화재 및 재난 대응 기술로 디지털 트윈 적용에 대한 관심이 증가하고 있다(Park et al., 2021). 지하공동구의 디지털트윈 모델은 전력선, 상수도관과 같은 시설 구조물과 소화기, 센서와 같은 설비 구조물들의 3차원 공간시설정보로 구성된다. 디지털 트윈은 현실세계의 상황을 디지털 가상세계에 그대로 재현하는 기술을 의미한다.

지하공동구에서 발생할 수 있는 화재를 초기 진압하기 위해서는 소화기의 위치 파악이 중요하다. 하지만 지하공동구는 긴 연장의 구조물이 공동구 내 연속적으로 설치되어 있어 작업자 위치와 소화기의 위치를 정확히 판단하기 어렵다. 따라서 지하공동구의 디지털트윈 모델을 구축하고 실세계에서 발생한 화재, 소화기의 위치를 파악하여 공동구내 작업자에게 빠르게 전달하는 것이 중요하다. 지하공동구 내 공간시설정보는 (준)실시간으로 디지털 트윈 모델에 갱신이 되어야 하므로 이상 객체를 탐지하는 방법이 요구된다. 특히 화재를 진압할 수 있는 소화기는 초기 대응을 위한 중요한 요소이다. 화재 발생 시 소화기의 위치가 디지털 트윈모델에 연동되어 있어야, 이를 바탕으로 소화기의 위치를 작업자에게 전달하여 초기 화재 진압이 가능하다.

지하공동구는 보안시설로 내부 진입이 어려워 공동구 내 공간시설정보의 실시간 상황을 디지털 트윈모델로 연계하기 어렵다. 따라서 공동구 내 소화기를 실시간으로 파악하고 소화기 정보를 디지털 트윈모델로 연계하기 위해서는 공동구 내 설치된 CCTV를 활용할 수 있다. 하지만 지하 공간에서는 촬영되는 CCTV 영상은 일반적인 영상데이터에 비해 조도가 낮고 먼지 등에 의해 영상 품질이 떨어진다(Kim et al., 2020). 또한 CCTV에서 원거리에 위치한 객체는 낮은 해상도로 인해 잘 파악되지 않는다는 한계가 있다. 이러한 이유에 따라 본 연구에서는 지하공동구 내 CCTV를 활용한 소화기 검출 모델을 개발하고 지하공동구 시설 및 거리에 따라 소화기 검출 모델을 평가하였다. 이를 위해 실시간 객체 검출이 가능한 딥러닝 알고리즘을 활용하였으며, 학습 이미지 데이터를 촬영하고 지하공동구 내 CCTV의 설치를 통해 거리별 테스트 이미지 데이터를 수집하였다. 수집한 데이터를 바탕으로 모델을 학습시켜 실제 CCTV영상을 통한 소화기 객체 검출 시의 검출률을 비교하고 디지털 트윈 연동을 위한 활용성을 분석하였다.

문헌조사

딥러닝(deep learning) 기술은 컴퓨터 비전 분야에서 탁월한 성능으로 부각되고 있다. 딥러닝 알고리즘 중 합성곱 신경망(convolutional neural network, CNN)은 개체 분류 및 탐지 기능에서 정확성 및 신속성을 인정받고 있다(Lee et al., 2019). CNN알고리즘을 바탕으로 심층 신경망 모델은 여러 단점을 보완해오며 학습 및 탐색 속도가 향상된 R-CNN, Fast-CNN, Yolo 등의 모델이 제시되며 다양하게 발전해왔다.

딥러닝 기반의 실시간 객체탐지 기술이 향상함에 따라 재난 및 안전관련 분야에 이를 적용한 연구가 진행되었으며, 이는 다음 Table 1과 같다. CCTV를 통해 촬영되는 영상에서 화재, 사람 등을 인식하여 실시간으로 재난 및 안전관리가 가능한 기술들이 개발되고 있다. 또한 위험사고가 발생하기 쉬운 건설현장에서 안전관리를 위해 안전모와 건설기계를 탐지하는 모델을 개발하는 연구가 진행되었다. 디지털 트윈 기술에서 실세계 상태를 가상세계로 동기화하기 위해 딥러닝 기술의 중요성이 강조되고 있지만 이를 위한 연구는 다소 부족한 것으로 사료된다.

Table 1. Literature analysis on application of deep learning in the field of disaster and safety

딥러닝 기반 소화기 탐지를 위한 데이터셋 구축

이미지데이터 수집

지하공동구에 설치된 CCTV는 일정 거리 간격으로 설치되어 있어 CCTV에서 촬영가능한 원거리(50m) 내 객체 탐색이 가능하여야 한다. 본 연구에서는 이미지 내 소화기 객체의 크기가 다양하도록 데이터를 구성하고자 하였으며, 직접 촬영한 이미지를 포함하여 총 3000여장의 이미지 데이터를 수집하였다. 데이터 수집을 위해 정상적으로 소화기가 세워져 있는 경우와 측면으로 쓰러진 경우 로 나누어 다양한 촬영 거리(1m 간격)에서 소화기의 모든 면을 촬영을 진행하여 이미지 데이터를 수집하였다. 다만 카메라 정면 방향이나 후면방향 소화기가 쓰러진 경우 단순 원형으로 인식되어 모델의 성능을 저하시키는 원인으로 판단되어 이러한 촬영 이미지는 학습데이터에서 제외하였다.

데이터 전처리

모델의 학습을 위해서 수집 이미지에서 소화기 객체의 위치와 클래스 정보를 입력하는 전처리 작업인 라벨링 작업이 요구된다. 연구에서는 오픈소스로 제공되는 라벨링 툴을 사용하여 Fig. 1과 같은 과정을 통해 학습 영상 내 소화기 객체를 바운딩 박스(Bounding box)로 구분하고 객체 클래스를 지정한다. 학습이미지 내 소화기 객체 정보는 Fig. 1의 우측과 같이 객체의 클래스를 나타내는 ObjectID와 바운딩 박스 관련 정보인 x, y, width, height로 구성되어 학습이미지와 동일한 명칭인 텍스트파일로 저장된다. 여기서 x, y값은 바운딩박스의 중심점 좌표로 전체 입력 이미지에 대한 상대값으로 입력되며, width와 height는 전체 이미지에 대한 바운딩 박스의 상대적인 가로, 세로 길이 값을 의미한다.

Fig. 1. Data labeling

딥러닝 기반 소화기 객체 검출 모델 구축

딥러닝 기반 소화기 탐지 모델 학습

연구에서는 실세계 소화기 객체를 가상세계로 반영하기 위해 CCTV에서 소화기 객체를 실시간으로 검출하여야 한다. 따라서 CNN 알고리즘을 기반으로 하여 One-stage Detector 방식을 이용하여 실시간 객체 탐지가 가능한 모델을 개발하고자 하였다. 모델의 학습을 위해 학습 조건은 Table 2와 같이 설정하였다. batch size는 한번 학습 시 처리하는 이미지의 개수를 의미하며, 학습을 진행한 PC의 GPU 메모리로 가능한 최대치 값 16을 적용하여 학습하였다. 학습 횟수를 나타내는 Epoch는 6000으로 설정하였다. 또한 데이터 증강을 통해 이미지의 각도 및 채도 등을 조절하여 이미지를 왜곡하는 방법을 적용한 후 데이터의 양을 늘려 학습을 진행하였다. 소화기는 형상과 특징이 뚜렷한 객체이므로 이러한 데이터 증강을 통해 모델의 성능을 높일 수 있다.

Table 2. Condition of Training

딥러닝 학습 모델은 입력 이미지를 feature map으로 변형시키기 위해 CSP-Darkent53를 Backbone으로 사용하였다. 또한 기존 고정된 이미지 크기로 입력되는 CNN모델의 단점을 해결하기 위해 multi-level spatial bins를 사용하여 이미지의 크기와 스케일의 범위에 구애 받지 않도록 모델을 구성하였다. 이는 다양한 이미지의 크기를 학습시킬 수 있어 과적합을 줄일 수 있는 장점이 있다. 이를 통해 소화기 이미지의 크기를 조절하지 않고 Convolution layer를 통과하여 이미지의 특징을 그대로 살려 신뢰도가 향상된 모델을 얻을 수 있다. 또한 테스트 이미지의 크기가 균일하지 않더라도 학습 모델의 높은 성능을 얻을 수 있다. 학습은 GPU = NVIDIA GeForce GTX 1060 6GB 환경에서 진행하였으며 3000장의 학습 시 6시간이 소요되었다.

딥러닝 기반 소화기 탐지 모델 평가

객체 탐지 모델 성능 평가 지표

객체 탐지 알고리즘에서는 다양한 지표로 모델의 성능을 평가한다. 그중 정밀도(Precision)와 재현율(Recall)은 모델의 성능을 나타내는 가장 기본적인 지표값이다. 정밀도(Precision)와 재현율(Recall)은 은 TP(True Positive), FN(False Negative), FP(False Positive), TN(True Negative)와 같이 4가지의 예측 결과로 계산된다. TP는 실제로 참인 결과를 입력하였을 때 탐지 모델이 이를 참으로 판단한 경우를 의미하며, FN은 참인 결과를 입력하였을 때 거짓으로 예측한 경우로 오답을 오답을 의미한다. FP는 거짓인 결과를 입력하였을 때참의 결과를 얻은 경우이며 이 역시 오답이다. TN은 거짓인 결과를 입력하였을 때 거짓의 결과 값을 얻은 경우이며 정답을 의미한다. 정밀도와 재현율은 아래 식 (1)으로 나타낼 수 있다. 정밀도는 모델이 참으로 분류한 것 중에서 실제로 참인 비율이며, 재현율은 실제로 참인은 데이터 중 모델이 참이라고 예측한 비율을 의미한다. F1 점수는 정밀도와 재현율을 종합적으로 평가하는 지표이다.

\(\begin{aligned}\begin{array}{l}\text { Precision }=\frac{T P}{T P+F P}=\frac{T P}{\text { all detection }} \\ \text { Recall }=\frac{T P}{T P+F N}=\frac{T P}{\text { all groundtruths }} \\ F 1 \text { Score }=2 \times \frac{\text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}\end{array}\end{aligned}\)       (1)

딥러닝 기반 소화기 탐지 모델 결과

연구에서 제안한 모델의 학습 결과는 다음 Table 3의 지표로 나타내었다. 형상이 명확한 소화기 객체의 특징에 따라 모델의 성능을 나타내는 지표가 100%로 매우 높다. 연구에서 개발한 딥러닝 기반 소화기 탐지 모델이 CCTV를 통해 입력되는 영상에서 객체를 안정적으로 탐지할 수 있음을 나타낸다. 또한 이는 디지털 트윈의 가상세계에 소화기 객체 동기화 시 활용될 수 있는 가능성이 매우 높음을 의미한다. 학습의 횟수(x)에 따라 출력값의 오차를 나타내는 Loss(y)값을 나타내는 Fig. 2의 Loss Curve에서도 확인할 수 있듯이 학습 초기부터 모델의 출력값의 오차가 급속도로 낮아지는 것을 확인할 수 있다. 6,000 epochs 학습에 대한 평균train loss는 0.1647로 Fig. 2의 그래프와 같이 최종6000번의 학습 끝에 0에 수렴하여 학습모델의 신뢰도를 확보하였다.

Table 3. Fire extinguisher detection model performance

Fig. 2. Loss curve

지하공동구 영상 테스트

지하공동구 내 거리별 소화기 객체 영상 수집

학습된 모델을 바탕으로 지하공동구 내 소화기 객체 탐지를 확인하기 위해 테스트 데이터를 수집하였다. 먼저 CCTV에서 촬영 가능한 범위와 육안으로 판단 가능한 범위를 검토하였다. 설치한 CCTV의 해상도는 Full HD(1920X1080)로 Fig. 3과 같이 사례 지하공동구에 설치된 CCTV를 통해 촬영되는 범위는 약50m로 확인되었다.

Fig. 3. CCTV visibility range in the underground utility tunne​​​​​​​l

Fig. 4와 같이 5m, 10m, 20m, 30m, 40m, 50m의 위치에 소화기를 배치하였을 경우 CCTV를 통해 촬영되는 영상에서는 10m 이내의 소화기를 육안으로 확인할 수 있었다.

Fig. 4. Fire extinguisher image size by distance through CCTV video​​​​​​​

각 지점별 촬영한 소화기의 바운딩 박스의 크기를 5m 지점에서 촬영한 소화기의 픽셀 크기인 100*170으로 동일하게 확대한 경우는 Fig. 4와 같으며 10m이상의 거리에 놓인 소화기의 판별이 쉽지 않은 것으로 확인된다.

CCTV로 전송되는 영상을 통해 소화기 객체를 판단하고 디지털 트윈으로 연계하기 위해 CCTV에서 인식 가능한 정도를 파악하고 활용 가능성을 분석하고자 각 여러 지점별로 소화기를 위치하여 다각도에서의 촬영을 진행하였으며 이를 지하공동구 테스트 데이터로 활용하고자 하였다. 테스트 데이터는 지하공동구내 상수+통신구와 전력구로 나누어 각각 거리별 300장의 데이터를 CCTV를 영상을 통해 수집하였다. 이 때, 소화기 탐지 학습 모델 데이터와 같이 소화기가 정상적으로 세워져 있는 경우와 쓰러진 경우를 모두 다각도에서 촬영하여 지하공동구 내 소화기 검출률을 확인하고자 하였다.

지하공동구 소화기 검출 결과

연구에서 개발한 딥러닝 기반 소화기 탐지모델의 지하공동구 거리 및 위치별 소화기 검출률은 아래 Table 4와 같다. Table 4에서 확인할 수 있듯이 연구에서 개발한 소화기 탐지 모델은 지하공동구 영상 내 소화기 검출률이 96%이상으로 매우 높은 것을 확인할 수 있다. 다만 CCTV에서 20m 이상 떨어진 소화기는 육안으로도 판단하기 어려우며, 소화기 탐지 모델에서도 소화기를 검출하지 못하였다. 모델의 성능은 지표별로 100%를 나타내었으며 Fig. 5와 같이 대부분의 지하 공동구 내 소화기를 잘 검출하였지만, 일부 쓰러진 소화기 객체를 인식하지 못하는 경우가 발생하였다. 이는 매우 극 소수의 사례이며 전체적인 검출률은 96%이상으로, CCTV를 활용하여 실세계의 소화기 객체를 검출하여 가상세계에 동기화하기 위한 안정적인 모델로 판단된다.

Table 4. Fire extinguisher detection rate by distance in underground utility tunnels​​​​​​​

Fig. 5. Application of fire extinguisher object detection model in underground utility tunnel​​​​​​​

결론

본 논문에서는 CCTV 기반 지하공동구 내 소화기 객체 검출 모델을 개발하고, 성능을 평가하여 화재 재난 대비를 위한 디지털트윈에 연동 가능성을 분석하였다. 학습을 위해 3000장의 이미지를 수집 및 학습하였으며, 소화기 객체는 단일 정형 객체로 학습 초기부터 Loss Curve가 0에 수렴하는 것으로 확인되어 과적합에 대한 검토를 확인하였다. 이를 통해 Full HD화질로 촬영된 CCTV 영상을 통해 10m 거리 내 소화기 객체 검출률은 96% 이상으로 디지털 트윈 모델 연동을 위한 객체 검출 모델로써 안정성을 확보한 것으로 판단된다.