A Study on the Construction Equipment Object Extraction Model Based on Computer Vision Technology

컴퓨터 비전 기술 기반 건설장비 객체 추출 모델 적용 분석 연구

Abstract

Purpose: Looking at the status of fatal accidents in the construction industry in the 2022 Industrial Accident Status Supplementary Statistics, 27.8% of all fatal accidents in the construction industry are caused by construction equipment. In order to overcome the limitations of tours and inspections caused by the enlargement of sites and high-rise buildings, we plan to build a model that can extract construction equipment using computer vision technology and analyze the model's accuracy and field applicability. Method: In this study, deep learning is used to learn image data from excavators, dump trucks, and mobile cranes among construction equipment, and then the learning results are evaluated and analyzed and applied to construction sites. Result: At site 'A', objects of excavators and dump trucks were extracted, and the average extraction accuracy was 81.42% for excavators and 78.23% for dump trucks. The mobile crane at site 'B' showed an average accuracy of 78.14%. Conclusion: It is believed that the efficiency of on-site safety management can be increased and the risk factors for disaster occurrence can be minimized. In addition, based on this study, it can be used as basic data on the introduction of smart construction technology at construction sites.

연구목적: 2022년 산업재해 현황 부가통계에서 건설업 사망사고자 현황을 보면 건설업 전체 사망사고자의 27.8%가 건설장비로 인해 발생하고 있다. 현장 대형화, 고층화 등으로 발생하는 순회 및 점검의 한계를 극복하기 위해 컴퓨터 비전 기술을 활용해 건설장비를 추출할 수 있는 모델을 구축하고 해당 모델의 정확도 및 현장 적용성에 대해 분석하고자 한다. 연구방법:본 연구에서는 건설장비 중 굴착기, 덤프트럭, 이동식 크레인의 이미지 데이터를 딥러닝 학습시킨 뒤 학습 결과를 평가 및 분석하고 건설현장에 적용하여 분석한다. 연구결과: 'A' 현장에서는 굴착기 및 덤프트럭의 객체를 추출하였으며, 평균 추출 정확도는 굴착기 81.42%, 덤프트럭 78.23%를 나타냈다. 'B' 현장의 이동식 크레인은 78.14%의 평균 정확도를 보여줬다. 결론: 현장 안전관리의 효율성이 증가할 수 있고, 재해발생 위험요인을 최소화 할 수 있을것이라 본다. 또한, 본 연구를 기반으로 건설현장에 스마트 건설기술 도입에 관한 기초적인 자료로 활용이 가능하다.

서론

연구의 배경 및 목적

최근 전 산업들은 4차 산업기술을 적용하여 산업 전반적인 패러다임 전환을 통해 새로운 성장 동력을 확보하고자 한다. 특히, 건설업은 현장 규모의 대형화, 다양화에 대응하고자 4차 산업기술을 도입하여 투입인력 및 비용 절감, 안전성 향상 등을 위해 다방면으로 접근하고 있다(Lee et al., 2019). 이러한 스마트 건설기술의 도입은 단순한 사업적 목적뿐만 아니라 숙련 인력의 부족, 안전사고 증가, 생산성 저하와 같은 문제를 획기적으로 개선할 수 있다(Choi et al., 2019). 정부에서는 “중대재해 처벌법” 시행을 통해 사업장 내 안전과 보건을 확보하기 위해 노력하고 있지만, 건설현장 사망사고는 여전히 많이 발생하고 있는 실정이다. 특히, 최근 건설현장의 규모가 대형화, 고도화되면서 건설현장 내 건설장비들의 규모와 투입되는 수도 증가하였다. 2023년 고용노동부에서 발표한 2022년 산업재해 현황 부가통계에서 건설업 사망사고자 현황을 보면 건설업 전체 사망사고자의 27.8%가 건설장비로 인해 발생하였다(Ministry of Employment and Labor, 2023). 이처럼 건설현장 내 건설 장비로 인한 재해는 빈번하게 발생하고 있으며 중대재해로 직결되고 있다.

건설현장 내 관리감독자, 안전관리자는 사업장 순회 및 점검에 대한 책임이 주어지고 있다(Occupational Safety and Health Act, 2021). 현장 대형화, 고층화, 다양화 등으로 인해 관리감독자와 안전관리자가 순회 및 점검을 통해 확인하기에는 여러 한계점이 존재한다. 이런 한계를 극복하기 위해 여러 스마트 기술들이 제안되고 있는데 그 중 건설현장의 안전관리를 위해서 현재 관심받고 있는 컴퓨터 비전 기술의 적용이 해결책이 될 수 있다. 컴퓨터 비전 기술은 기존 건설현장의 인력을 통해 현장 전체를 감시하고 모니터링 체계에 비해 효과적, 효율적으로 활용될 수 있으며, 관련된 연구가 지속되고 있다. 건설현장 내 컴퓨터 비전 기술을 활용해 건설장비를 객체 검출 또는 추출을 한다면 건설현장 전반에 걸쳐 지속적인 모니터링을 통해 관리감독자와 안전관리자의 업무도 효과적으로 수행할 수 있다.

따라서 본 연구에서는 컴퓨터 비전 기술 기반의 YOLACT를 활용해 건설현장 내 건설장비를 추출할 수 있는 모델을 구축하고 해당 모델의 정확도 및 현장 적용성에 대해 분석을 하고자 한다. 향후 본 연구에서 분석한 결과를 토대로 건설현장에 적용한다면 관리감독자 및 안전관리자의 안전점검 및 순찰 업무 효율성이 증진되며 건설장비 작업 중 문제 발생시 신속하고 적절한 조치를 취할 수 있다. 이는 결과적으로 국내 건설업의 재해 예방과 스마트 건설 기술 활성화에 크게 기여할 수 있을 것으로 판단된다.

연구의 범위 및 방법

본 연구는 건설현장 내 건설장비 중 많은 재해사고를 유발하는 굴착기, 덤프트럭, 이동식 크레인을 추출하여 정확도를 분석한 뒤 실제 건설현장에 적용하여 분석하는 것이 목적이다. 2022년 건설업 사고사망자 중 약 27.8%는 건설장비로 인해 발생하였다(Ministry of Employment and Labor, 2022). 즉, 건설현장 안전관리를 위한 법령 및 제도가 마련되고 있음에도 불구하고 건설장비로 인한 재해사고들은 끊임없이 발생하며 피해 규모도 큰 중대재해로 이어지고 있다. 따라서 본 연구에서는 건설현장 내 건설장비 중 굴착기, 덤프트럭, 이동식 크레인의 이미지 데이터를 딥러닝 학습시킨 뒤 학습 결과를 평가 및 분석하고 건설현장의 적용하여 분석하는 것까지를 연구의 범위로 제한하였다.

선행연구 고찰

최근 실제 건설현장에서 3D 스캐닝, IoT, 빅데이터 등 여러 스마트 건설기술들이 도입되고 있다. An(2020)는 공기산정 영향요인들을 고려해 딥러닝 모델을 제시하였으며, Ha(2021)는 딥러닝 기반 객체 검출에 사용되는 3가지의 알고리즘 정확도 및 속도에 대한 비교 분석을 하였다. 이외에도 Park(2021), Lee(2022)의 연구는 딥러닝 기법을 활용하여 철골 구조물의 물량 및 철근 가격을 예측하는 연구를 수행하였다. Kim(2022), Kim(2022)의 연구는 현재 건설업에서 중용되고 있는 BIM을 대상으로 딥러닝 기술을 활용하여 활용성 및 확장성을 위한 연구를 수행하였다. 또한, 해외에서도 스마트 건설 기술에 대한 다양한 연구가 진행되었다. Yan et al.(2020)의 연구에서는 컴퓨터 비전을 활용하여 건설기계와 작업자 사이의 공간 관계 인식을 통해 충돌을 방지하는 연구를 진행하였다. Arabiea et al.(2020)의 연구에서는 건설 차량 감지를 위하여 딥러닝 기반 솔루션 개발의 다양한 정보를 제공하여 솔루션의 실용성을 검증하는 연구를 진행하였다.

위 연구들과 같이 구조, 설계, 시공, 유지관리 등 다양한 분야에 딥러닝과 같은 스마트 건설기술 도입을 통해 건설공사의 생산성과 안전성을 확보하기 위한 연구가 지속되고 있다. 하지만 외부적인 요인으로 인해 시시각각 바뀌는 건설현장의 특성을 고려한 연구는 미비한 실정이다. 건축물의 종류에 따라 사용되는 건축자재, 건설장비에 대한 딥러닝 활용 방안이 추가적으로 제시될 필요성이 있다.

건설장비 객체 추출 모델

건설장비 이미지 데이터셋 구축

건설장비 이미지 데이터는 국내 건설현장 각 공종(토목, 건축)별로 나누어 카메라와 드론을 통해 수집하였다. 국내 건설현장은 수도권 현장 31개소, 그 외 지역52개소 중 건축 현장 38개소, 토목 현장 45개소로 나누어 총5,850장을 수집하였다. 또한, 건설장비와 작업자 간 접근 시 위험정보를 전달하기 위해 작업자 이미지 데이터를 추가적으로 1,052장 수집하였다.

국내 건설현장에서 수집한 건설장비 이미지 데이터는 알고리즘이 학습할 수 있는 형태로 가공하기 위해 추출하고자 하는 객체의 위치를 태그하여 컴퓨터가 올바르게 인식할 수 있게 하는 데이터 라벨링 작업이 필요하다. 라벨링은 깃허브(Github)에서 제공하는 오픈소스인 Labelme 프로그램을 통해 진행하였다. 우선 라벨링 대상 이미지 데이터를 생성하고 객체 추출하고자 하는 부분의 테두리를 경계박스로 지정하여 각 클래스로 저장한다. 라벨링 데이터는 PASCAL VOC 형식으로 객체의 태그된 경계박스의 위치 정보를 저장되게 된다. 데이터 라벨링 작업은 다음 Fig. 1과 같다.

Fig. 1. Labeling construction equipment image data

건설장비 이미지 데이터셋 학습 및 평가

건설장비 이미지 데이터를 YOLACT 딥러닝 학습하기 위해 개발 언어로 파이선(Python)을 사용하였으며, 환경에 맞는 기타 프로그램을 설치한 뒤 딥러닝 학습을 진행하였다. 건설장비 이미지 데이터 학습은 굴착기, 덤프트럭, 이동식 크레인으로 나누어 실행하였으며 학습 실행 전 데이터셋이 정의된 부분을 찾는 파이선 코드와 저장 경로에 대한 코드를 추가하여 학습 후에도 추가 학습이나 학습 결과를 확인하기 위한 과정을 추가하였다. YOLACT 딥러닝 학습은 아나콘다 프롬포트(Anaconda Prompt)를 통해 진행하였다. 학습 실행 코드를 입력하여 실행하였으며 약 5,000번의 딥러닝 학습을 통해 객체 추출 모델을 구축하였다.

딥러닝 모델 학습 후, 이미지 데이터 중 평가용 데이터를 통해 학습 모델 평가를 진행하였다. 건설장비 클래스는 굴착기(E : Excavator), 덤프트럭(D : Dump Truck), 이동식 크레인(M : Mobile Crane)으로 추출한 결과는 Fig. 2와 같다.

Fig. 2. Construction equipment object extraction results

건설장비 객체 추출 모델 정확도 평가 결과는 평가용 이미지 데이터를 입력값으로 넣었을 때의 정확도를 측정하는 평가지표인 mAP(mean Average Precision)를 기준으로 하였고 그 결과는 다음 Fig. 3과 같다. 객체 추출 평균 정확도는 굴착기 92.09%, 덤프트럭 87.53%, 이동식 크레인 86.24%으로 모두85% 이상의 추출 정확도를 나타냈다. 최대 추출 정확도는 굴착기 99.99%, 덤프트럭 99.99%, 이동식 크레인 99.99% 으로 3가지 건설장비 모두100%의 수렴하는 정확도의 수준을 확인할 수 있다. 최소 추출 정확도는 굴착기 33.78%, 덤프트럭 20.44%, 이동식 크레인 25.23%으로 20∼30% 수준의 수치를 3가지 장비에서 모두 나타났다. 하지만 Fig. 3의 형상과 같이 80~100% 범위에 추출 정확도의 비중이 높고, 최저 정확도 인근의 추출 정확도의 분산이 크게 나타난다. 그러므로 건설 장비 추출 모델의 학습 결과가 유의미하다고 볼 수 있다.

Fig. 3. Construction equipment object extraction accuracy

건설장비 객체 추출 모델 적용 및 분석

객체 추출 모델 적용 계획

본 연구에서 구축한 객체 추출 모델을 적용할 당시 건설현장의 주요 작업과 현황은 다음 Table 1과 같다. ‘A’ 현장은 지하 터파기 작업을 진행하였고, ‘B’ 현장은 지상 5층 거푸집 조립 및 해체작업을 진행하였다. 적용 당시 투입 장비로는 ‘A’ 현장은 굴착기 2대와 덤프트럭 3대가 투입되었으며, ‘B’ 현장은 이동식 크레인 2대를 투입하였다.

Table 1. Input equipment and person status by construction site

객체 추출 모델 적용 시 지하 터파기 작업중인 ‘A’ 현장은 굴착기와 덤프트럭의 데이터를 수집하기 위해 Gopro 카메라로 촬영하였고, ‘B’ 현장은 지상층으로 거푸집을 인양하는 이동식 크레인의 영상 데이터 수집을 위해 드론을 활용하였다. 객체 추출 모델 적용 절차는 다음 Fig. 4와 같다.

Fig. 4. Procedure for application of construction equipment extraction model

현장방문을 통해 모델 적용을 위한 촬영 장비 및 시스템을 구축하고, 촬영 장비를 통해 건설장비 이미지 데이터를 수집하였다. 특히, 굴착기와 덤프트럭의 경우 수평적 작업이 주로 이루어지기 때문에 GoPro 카메라를 통해 수집하였으며, 이동식 크레인은 수직적인 움직임을 보이는 작업을 하기 때문에 드론을 활용하여 데이터를 수집하였다. 그 후, 앞선 3장에서 구축한 객체 추출 모델을 실행하여 객체 추출 모델 및 정확도를 분석하였으며 마지막으로 객체 추출 모델이 건설현장 내 적용을 위한 적용성에 대한 평가를 실시하였다.

객체 추출 모델 적용 결과

본 연구의 객체 추출 모델은 서울특별시 00구에 위치한 현장 2개소에 적용 결과에 대한 정확도 분석을 실시하였다. GoPro 및 드론을 이용하여 촬영한 프레임별로 1,000개의 프레임을 무작위로 선정해 추출 정확도 결과를 나타내었다. Table 2와 같이 ‘A’ 현장에서는 굴착기 및 덤프트럭의 객체를 추출하였으며, 평균 추출 정확도는 굴착기 81.42%, 덤프트럭 78.23%를 나타냈다. 또한, ‘B’ 현장의 이동식 크레인은 78.14%의 평균 정확도를 보여줬다. 오류로 인해 객체가 잘못 추출된 경우에는 굴착기 23회. 덤프트럭 26회, 이동식 크레인 41회로 발생하였으며, 이동식 크레인 장비의 사이즈가 크기 때문에 가장 많은 오류 횟수를 나타냈다. 미추출 횟수은 굴착기 15회, 덤프트럭 12회, 이동식 크레인 22회로 이동식 크레인이 가장 많이 발생하였다.

Table 2. Accuracy in application of object extraction model

굴착기는 약 80%의 추출 성능을 보이는 구간에서 급격한 성능 저하를 나타냈다. 덤프트럭의 경우 90% 초반에서 급격히 성능의 변화를 보였으며, 이동식 크레인은 80%대와 40%대의 극심한 변화를 나타냈다. 최소 추출 정확도는 굴착기 20.44%, 덤프트럭 19.42%, 이동식 크레인 15.41%를 나타냈다. 또한, 객체 추출 모델 적용 시 정확도가 비교적 낮게 나타나고, 오류 및 미추출 횟수가 나타난원인으로는 해당 프레임의 이미지 데이터를 보면 이동식 크레인과 같이 하나의 카메라 각도에 들어 오지 않는 경우(a), 객체의 겹침 현상(b)이 발생할 때, 장해물로 인한 방해(c)를 받을 때, 근거리 및 원거리에서 촬영할 경우(d) 나타나는 것으로 확인되었으며 다음 Fig. 5과 같다.

Fig. 5. Cases of degrade of construction equipment extraction accuracy

객체 추출 모델 적용 효과 분석

건설장비와 작업자가 근접할 경우 안전사고 발생 가능성이 크기 때문에 한 화면에 건설장비와 작업자의 객체가 추출될 경우 위험정보 알림이 필요로 하다. 건설장비만 객체 추출이 되었을 때를 0, 건설장비와 작업자가 객체 추출될 경우에는 1로 구분하여 위험정보 알림을 주는 코드로 구성하였다. 이에 대해 건설현장에 적용한 결과 Fig. 6과 같이 건설장비와 작업자의 객체가 한 화면에서 동시에 추출될 경우 위험정보 알림을 정상적으로 화면상의 전송하였다.

Fig. 6. Risk information notification screen when close to construction equipment and workers (continued)

결론

본 연구에서는 컴퓨터 비전 기술 중 YOLACT 기반의 건설장비 객체 추출 모델을 구축하고 실제 건설현장의 적용하여 정확도 분석 및 적용 효과를 분석하였다. 객체 추출 대상은 건설장비로 인한 사망사고를 많이 일으키는 굴착기, 덤프트럭, 이동식 크레인에 대해 객체 추출 모델을 적용하여 정확도 및 적용효과 분석을 수행하였다.

본 연구에서 구축한 건설장비 객체 추출 모델을 적용한 결과로는 건설장비 최고 객체 추출 정확도는 99%에 달하고, 최저 정확도는 15~20%의 낮은 성능을 확인할 수 있었다. 하지만 실제 건설현장 내에서 작업하고 있는 세 종류의 건설장비에 객체 추출모델을 적용하였을 때는 모든 건설장비의 평균 추출 정확도는 78% 이상으로 유효한 성능을 확인할 수 있었다. 평균 추출 정확도와 비교했을 때 최저 정확도의 성능이 현저히 낮게 된 이유로는 이미지상의 객체의 크기, 장해물로 인한 객체 추출 방해, 객체의 겹침 현상으로 인한 정확도 저하 등 여러 원인을 분석하였다. 또한, 객체 추출 모델을 실제 건설현장에 적용하여 YOLACT를 통해 이미지 세그멘테이션 기술을 객체 추출에 적용함으로써 이미지 내의 객체의 위치 데이터 및 건설장비 객체 추출 정확도를 시각적으로 확인할 수 있었다.

본 연구에서 제안한 객체 추출 모델의 기대효과는 본 연구의 대상인 건설장비 이외에도 현장에서 사용되는 건설장비는 무수히 많기에 추가적인 객체 추출 대상을 선정할 수 있는 확장성을 가지고 있다. 또한, 건설장비와 작업자 객체가 접근 시 위험 정보 알림을 전송하여 재해 발생을 예방하고자 하였는데 이는 대규모, 대형화된 건설현장에서 관리감독자 및 안전관리자의 작업자 안전관리, 현장 순찰 등과 같은 업무의 효율성 증진과 재해가 발생할 위험요인을 최소화할 수 있을 것으로 보인다. 또한, 기존의 건설장비에 부착하는 협착방지시스템 등과 함께 운용될 경우 안전관리의 효율성과 적용 효과가 더 클 것으로 사료된다. 본 연구를 기반으로 건설현장에 스마트 건설기술 도입에 관한 기초적인 자료로 활용될 것을 기대한다.

그러나, 본 연구의 한계점으로는 굴착기, 덤프트럭, 이동식 크레인과 같은 대형 건설장비들은 비교적 원거리에서 촬영을 해야 객체가 정확하게 추출이 되며 특히 이동식 크레인은 붐(Boom)을 펼쳤을 때길이가 길어지므로 높은 위치나 드론을 통해 이미지 데이터를 촬영해야 하는데 이때 비행이 가능한 지역인지를 확인하는 절차가 필요하고, 비행이 불가능한 경우에는 이미지 데이터 수집이 어렵게 된다. 향후 본 연구에서는 건설장비 데이터셋의 상황이나 환경을 다양화하고 추가적인 데이터 수집 및 업데이트를 통하여 본 연구의 모델 확장성을 증진시킬 필요가 있다. 또한, 더 많은 현장의 사례분석을 통해 객체 추출도에 대한 신뢰도를 높여야 할 것으로 사료된다.