DOI QR코드

DOI QR Code

A Method of Extracting Features of Sensor-only Facilities for Autonomous Cooperative Driving

  • Received : 2023.11.07
  • Accepted : 2023.12.19
  • Published : 2023.12.30

Abstract

In this paper, we propose a method to extract the features of five sensor-only facilities built as infrastructure for autonomous cooperative driving, which are from point cloud data acquired by LiDAR. In the case of image acquisition sensors installed in autonomous vehicles, the acquisition data is inconsistent due to the climatic environment and camera characteristics, so LiDAR sensor was applied to replace them. In addition, high-intensity reflectors were designed and attached to each facility to make it easier to distinguish it from other existing facilities with LiDAR. From the five sensor-only facilities developed and the point cloud data acquired by the data acquisition system, feature points were extracted based on the average reflective intensity of the high-intensity reflective paper attached to the facility, clustered by the DBSCAN method, and changed to two-dimensional coordinates by a projection method. The features of the facility at each distance consist of three-dimensional point coordinates, two-dimensional projected coordinates, and reflection intensity, and will be used as training data for a model for facility recognition to be developed in the future.

본 논문에서는 자율협력주행을 위한 인프라로써 제작된 5가지 센서 전용 시설물들에 대해 라이다로 취득한 포인트 클라우드 데이터로부터 시설물들의 특징을 추출하는 방법을 제안한다. 자율주행차량에 장착된 영상 취득 센서의 경우에는 기후 환경 및 카메라의 특성 등으로 인해 취득 데이터의 일관성이 낮기 때문에 이를 보완하기 위해서 라이다 센서를 적용했다. 또한, 라이다로 기존의 다른 시설물들과의 구별을 용이하게 하기 위해서 고휘도 반사지를 시설물의 용도별로 디자인하여 부착했다. 이렇게 개발된 5가지 센서 전용 시설물들과 데이터 취득 시스템으로 취득한 포인트 클라우드 데이터로부터 측정 거리별 시설물의 특징을 추출하는 방법으로 해당 시설물에 부착된 고휘도 반사지의 평균 반사강도을 기준으로 특징 포인트들을 추출하여 DBSCAN 방법으로 군집화한 후 해당 포인트들을 투영법으로 2차원 좌표로 변경했다. 거리별 해당 시설물의 특징은 3차원 포인트 좌표, 2차원 투영 좌표, 그리고 반사강도로 구성되며, 추후 개발될 시설물 인식을 위한 모형의 학습데이터로 활용될 예정이다.

Keywords

I. Introduction

현재의 자율주행기술은 일반적으로 다양한 센서로 취득한 데이터를 분석하여 적정한 정보를 기반으로 차량을 제어한다. 다양한 센서의 활용 및 개별 센서의 성능 향상으로 인해 이들을 활용한 장비들의 성능 역시 향상되고 있지만 안전성을 기반으로 한 완벽한 자율주행기술은 지속적인 연구가 필요한 상황이다. 이러한 연구들 중 자율주행차량에 부착하는 개별 장치의 성능 향상 외에도 자율협력주행을 위한 자율협력주행을 위한 인프라에 관한 연구도 활발히 진행되고 있다. 이와 관련하여 국토지리정보원은 2016년부터 자율주행차량의 지원을 위한 LDM(Local Dynamic Map) 플랫폼의 레벨 1과 2에 해당하는 정밀도로지도를 시범적으로 구축하여 지속해서 개선하고 있다. 이러한 정밀도로지도는 차량의 위치 결정, 경로 설정 및 변경, 도로교통 규제 등을 인지하기 위한 자율주행의 기본 핵심 인프라 중 하나로 간주 되고 있다.

정밀도로지도와 관련되어 국내외 표준 및 제반 환경에 대한 동향 분석, 구축 기관별 활용성, 자율주행차량에 적용하는 방안 등에 관한 연구가 진행되었다[1]. 해당 연구에서는 자율협력주행 모델을 구축하여 관계 기관별 레이어 분류와 정의 등이 추가된다면 보다 효율적인 정밀도로지도 활용 및 도로 주변 공간정보가 구축되어 갱신될 것으로 보았다. 현재의 정밀도로지도는 주행환경을 구성하는 여러 정보 중 시설물의 종류와 위치 등 변화할 가능성이 없는 정적 정보를 기반으로 구축되었기에 자율협력주행을 위한 시설물의 보완이 필요하다고 보았다[1,2].

이러한 자율협력주행 모델을 구축하기 위한 인프라로 자율주행을 위한 개선 및 가상 시설물을 제안하고 이들 시설물에 사용하기에 적합한 재료의 특성을 분석한 연구가 소개되었다[2]. 이의 후속 연구로 자율주행차량에 장착된 다양한 센서들을 통해 인지되는 표지 시설의 활용을 위해 기존 도로시설물인 도로표지, 교통안전표지, 그리고 시선 유도시설과 정밀도로지도의 시설물 관련 레이어와의 비교분석을 통한 자율주행차량의 인식 가능 표지시설의 역할을 도출한 연구도 진행되었다[3].

상기 연구들[1-3]은 단계적으로 수행되면서 기존에 존재하지 않는 자율주행차량만을 위한 표지 시설의 역할 도출 및 기존의 도로시설인 국토교통부에서 관리하는 도로 표지와 시선유도시설, 경찰청에서 관리하는 교통안전표지, 국토지리정보원에서 제공하는 자율주행차량을 위한 정밀도로지도의 레이어 등에 대한 분석을 통해 자율주행차량이 인식할 수 있는 표지시설을 활용하여 원활하고 안전한 주행을 하도록 도로시설물의 설치 위치, 높이, 방향 등이 현행 법령에서 규정하는 범위 내에서 설치 및 관리될 필요가 있다고 보았다.

자율주행차량에 장착되는 센서 중 라이다 센서는 현재 자율주행기술의 발전을 선도할 것으로 보이며, 국내에서 시험 중인 자율주행차량 대부분이 카메라와 라이다를 융합하여 사용하고 있으며, 이러한 복합센싱기술은 기존의 CCTV 감시 시스템에서도 적극적으로 활용되고 있다. 효용성 측면에서 라이다를 일반 카메라와 비교해 본다면, 조도의 영향에 민감하지 않아 주야간 성능의 차이가 상대적으로 적고 3차원 형태로 물체를 감지할 수 있기에 상대적으로 활용도가 높은 것으로 알려져 있다.

라이다는 자율주행차량에 부착되어 동적 물체의 인지나 주행 중인 차량의 절대위치 파악 등에 활용되고 있으며, 라이다 기반으로 도로시설물에 대한 다양한 성능 변화에 관한 연구가 수행되었다[4]. 또한, 완벽한 자율주행기술의 구현을 지원하기 위한 자율주행 인프라를 기반으로 한 자율협력주행에서는 GPS 기반의 자율주행차량의 절대측위는 GPS의 오류를 보정하기 위한 주변의 차선 및 표지판과 같은 도로시설물을 인식하여 상대측위로 보정하는 과정이 필요하다. 즉, 센서는 주변 참조시설물의 탐지와 더불어 자율협력주행에 필요한 연속적 측위를 위한 참조시설물의 탐지도 수행해야 한다[5].

본 연구는 앞서 언급된 연구의 연장선상에서 정밀도로지도를 제작하기 위한 사전 제작된 동적 시설물들을 라이다로 인식하기 위해 취득된 포인트 클라우드 데이터에서 시설물들의 특징을 추출하는 과정을 포함한다. 그래서 제2장에서는 라이다로 수집된 포인트 클라우드 데이터 기반 기존의 연구 동향을 살펴보고, 본 연구에 적정한 활용 방법을 살펴본다. 제3장에서는 동적 시설물들의 종류, 취득 시스템, 그리고 취득된 포인트 클라우드 데이터로부터 시설물들을 특징을 추출하는 과정을 기술한다. 마지막 제4장에서는 결론 및 군집된 포인트 데이터를 기반으로 시설물 인식에 관한 연구 방향을 제시한다.

II. Preliminaries

본 연구와 관련하여 자율협력주행을 위한 인프라로 개선 및 가상 시설물의 필요성과 이와 관련된 연구 진행 및 라이다 활용 등은 제1장에서 소개하였다. 본 연구를 위해 개발된 취득 시스템은 제3장에서 설명하겠지만, 본 논문에서는 라이다로 취득된 포인트 클라우드 데이터를 대상으로 하고 있기에 이와 관련된 연구 동향을 살펴본다.

인공지능기술의 발전은 도메인에 종속적이었던 컴퓨터 비전 분야뿐만 아니라 다양한 분야에 접목되어 이의 실효성이 여러 연구 결과에서 입증되었고, 사용성 측면에서도 대중들에게 충분히 인지되고 있다고 볼 수 있겠다. 컴퓨터 비전 분야에서는 일찍이 3차원 이미지를 처리하기 위해 기본적으로 복셀(voxel) 단위의 연산을 기반으로 하는 다양한 연구들이 컴퓨터그래픽 및 각종 다양한 영상처리 분야에서 진행되었고 이를 위한 특수한 컴퓨터시스템의 개발도 진행되었다. 하지만 일반적인 컴퓨터비전 분야에서는 우선적으로 방대한 양의 데이터와 이의 처리 속도, 그리고 도메인의 특성을 고려한 알고리즘의 강건성 등이 연구의 주된 핵심이라고 볼 수 있겠는데, 알고리즘 측면에서 인공지능기술을 활용함으로써 강건한 일반화 문제는 어느 정도는 해결되는 듯하며, 또한 해상도 측면에서도 이에 종속적이지 않는 성능 향상을 기대할 수 있게 되었다.

공간정보 분야에서는 라이다 센서를 기반으로 3차원 공간을 스캔하여 3차원 공간을 재구성하는 등의 연구 개발이 활발히 진행되었고 최근에는 이러한 공간 내에서 물체의 탐지 및 인식에 대한 연구들이 진행되고 있다. 즉, 카메라 기반의 영상으로부터 라이다 기반의 포인트 클라우드 데이터 처리로 옮겨가고 있다고 볼 수 있는데, 이는 서론에서 언급한 바와 같이 라이다가 갖는 상대적인 이점 때문이라고 볼 수 있겠다. 그래서 라이다로부터 취득한 포인트 클라우드 데이터를 인공지능기술과 접목한 연구들이 시도 되었는데, PointNet 모형[6]과 더불어 PointNet++ 모형[7] 및 PointCNN 모형[8] 등이 이의 가능성을 제시했다고 볼 수 있겠으며 이후 다양한 모형들이 연구되어 발표되고 있다. 이러한 연구들은 컴퓨터비전 분야에서처럼 방대한 양의 데이터를 어떻게 빠르게 처리할 것인가와 판정의 정확도를 얼마나 향상시킬 것이냐의 문제로 구분할 수 있겠다. 이들 중 FPS-Net 모형[9]은 트랜스포머(Transformer)를 지능망 모형에 적용함으로써, PCSCNet 모형[10]에서는 데이터의 해상도를 고려한 모형을 접목시킴으로써 배경으로부터 특정 대상체(들)의 분할(segmentation) 속도와 정확도를 향상시켰다.

방대한 데이터 양, 그리고 개발된 모형의 정확도 및 처리 속도 등을 고려한 다양한 연구들이 진행되고 있지만 지도학습 기반의 3차원 포인트 클라우드 데이터에 대한 전반적인 작업 과정은 Fig. 1과 같은 단계들을 순차적으로 수행하거나 상황에 맞춰 몇몇 단계들을 선택하여 적용할 수 있겠다.

CPTSCQ_2023_v28n12_191_f0001.png 이미지

Fig. 1. 3D Machine Learning Workflow: Point Cloud Semantic Segmentation [11]

방대한 양의 포인트 클라우드 데이터를 처리함에 있어서 인공지능기술의 접목은 부인할 수 없는 대세라고 볼 수 있겠는데, 이는 영상처리 및 컴퓨터비전 분야에서의 다양한 연구들에 의하면 인공지능기술은 전통적인 알고리즘들에 비해 상대적으로 높은 정확도와 일반화된 강건성을 보여주고 있다고 볼 수 있겠다. 이러한 경향에 맞춰 본 논문에서는 자율협력주행을 위한 제작된 시설물들을 라이다로 인식하기 위한 데이터 구축을 위해 시설물들의 특징을 추출하는 방법을 제시한다.

앞서 언급했던 포인트 클라우드 데이터 기반의 응용에서는 일반적으로 방대한 양의 데이터 수를 줄이기 위해서 sub-sampling과 클러스터링을 진행하여 inlier와 outlier를 구분하는 것이 일반적이다. 하지만 해당 연구의 특수성을 고려한다면, 즉, 자율협력주행 인프라를 위한 시설물들은 특히 [3]에서 언급한 바와 같이 라이다 센서에 민감한 특정 패턴의 고휘도 반사지가 부착된다는 점, 일반 물체에서 반사되는 포인트의 밝기보다 고휘도 반사지가 상대적으로 밝다는 점, 그리고 시설물들이 상대적으로 작다는 점이다. 이러한 시설물의 크기와 반사 특성을 고려한다면 포인트 클라우드 데이터 내에서 추출될 수 있는 객체들 측면에서는 해당 시설물이 이상치에 해당하는 객체로 볼 수 있다. 이러한 특성을 고려하여 3장에서는 단계별로 특징을 추출하는 방법을 기술한다.

III. The Proposed Scheme

1. Overview

현재 진행되어는 연구는 자율협력주행을 위한 시설물 제작, 데이터셋 구축, 그리고 취득된 데이터로 시설물을 인식하는 과정으로 구분되어 단계별로 진행되고 있다. 이와 관련하여 Fig. 2는 연구의 전반적인 과정을 보여주고 있으며, Fig. 2의 회색 부분은 지금까지 진행된 상황이다. 본 논문에서는 이 부분들을 연구한 내용 및 결과를 기술한다.

CPTSCQ_2023_v28n12_191_f0002.png 이미지

Fig. 2. Workflow; gray boxes depict modules that have progressed to date.

2. Sensor Only Facilities

자율협력주행을 위한 인프라로써 개선 및 가상 시설물을 복잡구간, 특수구간, 측위보정 등 3가지로 분류되며, Fig. 3과 같다. 복잡구간을 위한 3가지 시설물들은 엇갈림 구간(Fig. 3-(a)), 곡선구간(Fig. 3-(b)), 그리고 공사구간(Fig. 3-(c)), 특수구간 시설물로는 기존의 어린이보호구역(Fig. 3-(d)), 그리고 측위보정 시설물(Fig. 3-(d)) 등 총 5가지의 시설물들을 제작했다. 여기서 복잡구간 및 측위보정 시설물들은 자율협력주행을 위해 만들어진 가상시설물이며, 기존의 어린이보호구역 및 측위보정 시설물에도 고휘도 반사지를 부착했다.

CPTSCQ_2023_v28n12_191_f0003.png 이미지

Fig. 3. Facilities: (a) Cross Zone, (b) Curve Zone, (c) Construction Zone, (d) Children Safety Zone, and (f) Geo-Referencing.

제작된 해당 시설물들은 [1-3]의 연구 결과를 기반으로 디자인 및 반사물질 등에 대해 지속해서 수정 및 보완해 왔으며, 앞으로 K-city에 적용 예정이기에 향후 추가로 보완될 예정이다.

3. Sensor Data Acquisition system

본 연구의 최종목표를 달성하기 위한 데이터 취득 시스템의 구성도는 Fig. 4와 같다.

CPTSCQ_2023_v28n12_191_f0004.png 이미지

Fig. 4. Block Diagram of Sensor Data Acquisition System

해당 시스템은 리눅스 우분투 기반의 ROS 플랫폼을 활용하여 센서들로부터 1/10초 단위로 데이터를 취득하여 10분 단위마다 하나의 ROSBAG 파일형태로 저장했다. 해당 파일은 센서들의 종류에 따라 5가지 타입(영상, IMU, NavSatFix, PointCloud2, TFMessage)의 총 9개 토픽(4 CAMs, 1 GNSS, 1 IMU, 2 LiDARs, 1 TF)으로 구성된다. Fig. 1의 첫 번째 단계에 해당하며, 저장된 ROSBAG 파일에서 한 종류의 포인트 클라우드 데이터만 Fig. 1의 두 번째 단계로 전송된다. 나머지 토픽들은 추후 최종 결과 보정 및 정밀도로지도와 연계하여 활용될 예정이다.

4. A Method of Point Cloud Data Clustering

센서 데이터 취득 시스템에 장착된 라이다는 Velodyne사의 32채널 Ultra Puck이며, Fig. 2의 두 번째 단계에 입력이 되는 포인트 클라우드 데이터는 PointCloud2 타입으로 포맷은 0.7 버전을 준수하고, 포인트별 레코드는 4개 필드로 포인트의 3차원 좌푯값과 반사강도(Intensity)로 구성되며, 필드별 크기는 각각 4바이트씩이고 1회 취득되는 포인트의 개수는 49,476개이다.

입력된 포인트 클라우드 데이터를 공개소프트웨어인 CloudCompare를 활용하여 시설물을 확인하고 시설물까지의 거리를 측정하여 {시설물 타입}-{거리}로 파일명을 설정하였다. 이렇게 함으로써 이후 설명될 Fig. 5의 결과와 상호 비교하여 시설물별로 레이블링할 때 검증할 수 있도록 하였다. 시설물은 모두 5가지 종류이며, 측정 거리는 1 ~ 30미터까지 1미터 단위로 구분하였다.

CPTSCQ_2023_v28n12_191_f0005.png 이미지

Fig. 5. Flowchart of Clustering Point Cloud Data

라이다로 취득한 포인트 클라우드 데이터를 기반으로 특정 시설물들의 데이터셋을 구성하기 위해서 Fig. 5와 같은 단계를 수행하였다. 단계별 수행에 있어서 우선으로 라이다 시점에서 시설물을 보기 위해서 라이다 시점의 2차원 투영을 고려하게 되었다. Fig. 6은 엇갈림구간(Fig. 3-(a)) 시설물을 15미터 근방에서 측정한 포인트 클라우드 데이터와 이를 2가지 방법으로 투영한 결과를 보여준다.

CPTSCQ_2023_v28n12_191_f0006.png 이미지

Fig. 6. Point Cloud Data Visualization and Projection Views

Fig. 6-(a)에서 라이다의 스캔 라인이 균일하지 않은 데 중앙 부분은 조밀하고 위아래로 갈수록 듬성듬성함을 볼 수 있다. 여기서 Fig. 6-(b)는 이러한 상황을 포함한 투영도이며, Fig. 6-(c)는 행을 스캔 라인에 맞춘 투영도이다. 즉, 장착한 라이다가 32채널이기에 스캔 라인(행의 개수)을 32로 설정하는 것이 적정하다고 판단했다.

구면 투영 또는 전면 뷰 투영은 3차원 포인트 클라우드 데이터를 2차원 이미지 데이터로 표현하는 방법이지만 기본적으로 차원 축소 역할을 한다. 그리고 구면 투영은 포인트 클라우드 처리를 위한 다양한 딥러닝 솔루션에서 점점 더 활용도가 높아지는 실정이다. 가장 많이 응용되는 분야 중 하나는 포인트 클라우드 데이터에서 객체를 분류하고 분할하는 것이다. 포인트 클라우드 데이터를 이미지로 표현하는 가장 큰 장점은 지난 10여 년간 2차원 이미지를 대상으로 진행 되었던 수많은 연구들(FCN, U-Net, Mask- RCNN, Faster-RCNN 등)을 3차원 포인트 클라우드로 확장할 수 있다는 점이다. 특히, 자율주행 분야에서 많은 연구자가 이를 위해 노력하고 있다.

Fig. 7의 방법을 기반으로 취득된 모든 포인트를 2차원 평면에 사상하는 것으로 포인트 P(x, y, z)를 기준점 변화와 함께 다음 방정식을 적용한다.

CPTSCQ_2023_v28n12_191_f0007.png 이미지

Fig. 7. Spherical Projection Method

\(\begin{aligned}\begin{array}{l}R=\sqrt{x^{2}+y^{2}+z^{2}} \\ \text { pitch }=F o V_{u p}-\sin ^{-1}(z / R) \\ \text { yaw }=\tan ^{-1}(y / x)+\pi\end{array}\end{aligned}\)

상기 방정식을 기반으로 정규화 및 스케일링을 거쳐 2차원 투영을 위한 방정식은 다음과 같다.

u = Rowscale × (1 - (pitch + FoVdown)/FoV)

v = Colscale × (0.5 × ((yaw/π) + 1))

여기서, FoV = FoVup + |FoVdown|이며, FoVup과 FoVdown은 해당 라이다의 사양에서 확인할 수 있다. 그리고 Rowscale은 라이다의 채널 수로 대체될 수 있으며, Colscale은 라이다의 최대 수평 해상도로 나눈 값이 최소치라고 볼 수 있다. 이후 이를 분류기의 입력 레이어의 개수를 고려하여 보통 가장 가까운 2의 승수로 변환할 수 있다. 이러한 투영법을 기반으로 Fig. 6과 같은 결과를 확인하였고, 취득한 3차원 포인트 클라우드 데이터를 축소한 후 이들 포인트를 2차원으로 변경할 수 있겠다.

본 연구에서는 포인트 클라우드 데이터 내에서 시설물이 상대적으로 작다는 점, 시설물이 라이다에서 일반적인 물체와 비교하여 상대적으로 밝게 반사하도록 제작되었다는 점, 그리고 시설물이 입체감이 적다는 점을 우선으로 고려했다. 그래서 첫 번째와 세 번째 조건을 고려하여 3차원 처리보다는 2차원 처리가 적정할 것으로 판단하여 3차원을 2차원으로 투영하는 방법과 반사강도를 임계값으로 설정하여 포인트들의 수를 최소화하는 방법을 고려하였다. 입력된 포인트 클라우드의 포인트들의 개수를 축소하려는 방법으로 첫 번째 조건인 라이다의 후면부인 X축에서 음수값인 포인트들과 X축으로 30미터 이상인 포인트들을 제거하였다. 두 번째 조건을 고려하여 포인트의 반사강도가 임계값 이하인 포인트들을 제거하였다. 해당 임계값은 시설물에 부착된 고휘도 반사지의 물성에 따라 달라지기 때문에 시설물 제작진의 테스트 과정에서 얻게 된 평균 반사강도로 설정하였다. 그 결과 15미터 부근의 엇갈림 시설물에 대해 Fig. 8-(a)와 같은 결과를 얻었고, 48,476개의 포인트를 48개로 축소했다. Fig. 8-(a)에서 보면 X축 방향으로 일정하게 배열된 포인트가 보이는 데 이는 거리 측정을 위해 5미터 간격으로 배열한 마커인 것으로 파악되었다.

CPTSCQ_2023_v28n12_191_f0008.png 이미지

Fig. 8. Points Reduction: (a) where two conditions applied, (b) by DBSCAN​​​​​​​

비지도학습 기반의 군집화를 위한 다양한 방법들이 소개되었지만 일반적으로 K-Mean 방법과 DBSCAN 방법의 활용에 대한 연구 결과가 검토되었다. 특히, DBSCAN 방법[12]은 밀도가 다양하거나 모양이 불규칙한 클러스터처럼 모양이 잘 정의되지 않고 서로 가까운 포인트들을 함께 그룹화하는 방법으로 어느 정도 활용도가 높다는 연구 결과와 시험을 통해 해당 방법을 적용하였다. 이 방법을 접목한 결과는 Fig. 8-(b)의 우측 상단의 확대된 사각형에서 확인할 수 있다. 이 과정을 통해 48개의 포인트를 22개로 축소했고, 이들 포인트의 투영도는 Fig. 9에서 원본 시설물과 함께 확인할 수 있다.

CPTSCQ_2023_v28n12_191_f0011.png 이미지

Fig. 9. (a) Feature Points, (b) An Image cropped and enlarged from the original image​​​​​​​

최종적으로, 주어진 PCD(Point Cloud Data) 파일마다 Fig. 5의 방법을 적용하여 PCD 파일명, 3차원 포인트, 반사강도, 2차원 투영 위치 등 총 4가지를 거리에 따른 해상 시설물의 특징으로 저장했다. 그래서, PCD 파일명으로 해당 시설물이 무엇인지, 그리고 거리 정보를 알 수 있으며, 포인트들의 3차원 위치 및 2차원 투영 좌표를 알 수 있다. 향후 5가지 시설물을 인식하기 위한 모형을 테스트하기 위한 데이터셋을 구축한 후 3차원 데이터 및 2차원 데이터를 기반으로 적정한 모형 개발에 활용할 예정이다.

5. Experiments and Discussion

제작한 5종의 시설물들을 대상으로, 동일한 환경에서 시설물만 변경하여 1미터 단위로 취득한 포인트 클라우드 데이터에 대해 앞선 절에서 설명한 방법으로 수행한 결과를 기반으로 Fig. 10에서는 5m 간격으로 구분하여 제시하였다. Fig. 10의 그림들은 포인트 클라우드 데이터를 시각화하는 공개소프트웨어에서 이를 확인 후 거리에 따라 줌인아웃을 수행하여 시설물이 어느 정도 보이는 부분을 캡처한 것으로 검은색 배경의 흰색 점들이 반사되는 포인트를 나타낸다. 이러한 캡처한 그림에 추출된 포인트들을 투영한 2차원 좌표로 표현한 plot을 상호 비교할 수 있도록 좌측에 배치했다. 참고로, 우측의 캡처한 그림의 흰색 포인트와 좌측의 투영한 위치를 나타내는 검은색 점들은 서로 간격이 다를 수 있다.

CPTSCQ_2023_v28n12_191_f0009.png 이미지

Fig. 10. Experimental Results; Each picture has 2D points paired with 3D points, where clustered 2D points plotting is on the left side of the image captured by PCD viewer. The absence of the figure on the left means that cloud point clustering is failed.​​​​​​​

Fig. 10에서 시설물의 종류로 ‘C1’은 엇갈림구간, ‘C2’는 곡선구간, ‘C3’는 공사구간, ‘C4’는 어린이보호구역, 그리고 ‘C5’는 측위보정 시설물을 나타낸다. 비록 시설물들의 크기가 3가지 분류(복잡구간, 특수구간, 측위보정)에 따라 각각 다르고 반사지의 패턴도 달라서 반사되는 포인트의 개수가 상이하다. 그리고, 측위 보정 시설물의 경우에는 Fig. 3-(f)와 같은 형태이기에 2개의 평면이 라이다 시점에서 정사 위치가 아닐 때 몇 가지 형태로 구분된다. 추가로 안개가 낀 날과 비가 오는 날에 수집한 데이터에서 추출한 특징 포인트들을 2차원으로 플로팅 한 그림은 Fig. 11과 같다.

CPTSCQ_2023_v28n12_191_f0010.png 이미지

Fig. 11. Additional Experimental Results; In foggy and rainy weather condition.​​​​​​​

Fig. 11에서 ‘C4’‘은 Fig. 10에서의 ’C4‘와 다른 형상을 보이고 있는데, 이는 진행 과정에서 수정 보완된 것으로 Fig. 3-(d)에서 반사지 형태를 사각형이 아닌 상단 1/3 지점에 직각삼각형 두 개를 대칭으로 제거한 형태이다.

시설물들의 반사지 디자인, 측정 거리, 그리고 기후에 따라서 시설물들의 특징점 배열이 다르지만, 이러한 특징들을 기반으로 학습된 모형이 해당 시설물을 인식하는 결과를 기반으로 시설물의 디자인 수정과 특징점 추출을 위한 방법의 개선 등을 위한 추가적인 연구가 선순환적으로 진행되어야 할 것으로 보인다.

IV. Conclusions

본 논문에서는 자율협력주행을 지원하기 위한 인프라인 시설물 인식을 위한 데이터 취득 장비와 이를 활용해 취득된 포인트 클라우드 데이터를 기반으로 해당 시설물의 특징을 추출하는 과정을 소개했다. 이렇게 추출된 데이터는 해당 시설물들을 인식하는 모형 개발의 데이터로 활용될 예정이다.

카메라 기반의 영상처리보다는 라이다 기반의 데이터가 기후 환경에 대한 제약에 덜 민감하고, 결정적으로 거리측정이 정확하기에 정밀도로지도 보완에 활용도가 높다고 볼 수 있다. 하지만 시설물의 크기가 상대적으로 매우 작기에 이러한 라이다의 활용도를 높이기 위해 고휘도 반사지를 부착한 5가지 시설물을 제작했다. 이러한 시설물에 부착하는 반사지의 물성과 디자인 등이 지속해서 수정 보완되었으며, 향후 K-city에서의 활용도를 테스트하면서 종류 및 수량이 더 늘어날 것이고, 이에 대응해서 반사지의 디자인 수정과 특징 추출 방법이 개선될 예정이다.

현재까지 제작된 5가지 시설물들과 취득 시스템을 기반으로 수행한 실험으로 라이다의 특성(특히 채널 수와 시야각)으로 인해 수집되는 포인트 밀집의 비균일성, 그리고 시설물의 디자인, 크기, 높이 등에 따른 제한성, 그리고 특징 추출 결과 등을 고려하여 시설물의 인식 정확도와 인식범위를 넓히기 위한 추가적인 연구를 진행할 예정이다. 또한, 시설물의 정확한 위치를 보정하기 위하여 GPS와 IMU 데이터를 시설물의 특징 데이터와 연계할 예정이다.

ACKNOWLEDGEMENT

This research was supported by the research project “(22AMDP-C161924-02) Development of integrated digital platform for the road and transport infrastructure based on crowdsourcing” funded by the Ministry of Land, Infrastructure and Transport/Korea Agency for Infrastructure Technology Advancement (KAIA).

References

  1. Sang-Yeon Won, Young-Jae Jeon, Hyng-Woo Jeong, Chan-Oh Kwon, "A Comparison of Korea Standard HD Map for Actual Driving Support of Autonomous Vehicles and Analysis of Application Layers," Journal of the Korean Association of Geographic Information Studies, vol. 23, no. 3, pp. 132-145, 2020. 9. DOI:10.11108/kagis.2020.23.3.132 
  2. Young-Jae Jeon, Chul-Woo Park, Jin-Woo Kim, Jun-Hyuk Lee, "Study on the Material Characteristics of Improved and Virtual Facility for Autonomous Vehicles," Journal of Korea Contetns Association, Vol. 22, No. 12, pp. 171-179. 2022. 12. DOI:10.5392/JKCA.2022.22.12.171 
  3. Young-Jae Jeon, Chul-Woo Park, Jin-Woo Kim, Jun-Hyuk Lee, "Deriving the Role of Sign Facilities Recognized by Autonomous Vehicles," Journal of the Korean Association of Geographic Information Studies, Vol.26, No. 1, pp. 1-10, 2023. 1. DOI:10.11108/kagis.2023.26.1.001 
  4. Bum-Jin Park, Ji-Yoon Kim, "A Study of LiDAR's Performance Change by Road Sign's Color and Climate," Journal of Korea Institute of Intelligence Transport Systems, vol. 20, no. 6, pp. 227-241, 2021. 11. DOI:10.12815/kits.2021.20.6.228 
  5. Ji-Yeon Kim, Bum-Jin Park, "A Research of Factors Affecting LiDAR's Detection on Road Signs: Focus on Shape and Height of Road Sign," Journal of Korea Institute of Intelligence Transport Systems, vol. 21, no. 4, pp. 190-211, 2022. 7. DOI:10.12815/kits.2022.21.4.190 
  6. Charles R. Qi, et. al, "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," Proceedings on the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 252-660, 2017. DOI: 10.48550/arXiv.1612.00593 
  7. Charles R. Qi, et. al, "PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space," Proceedings of the 30th Conference on Neural Infroamtion Processing System (NeurIPS 2017), pp. 2017. 6. DOI:10.48550/arXiv.1706.02413 
  8. Yangyn Li, et. al., "PointCNN: Convolution On x-Trans formed Points," Proceedings of the 32nd Conference on Neural Information Processing Systems(NeurIPS 2018), pp. 828-838, 2018. 11. DOI: 10.48550/arXiv.1801.07791 
  9. Aoran Xiao, etl, al., "FPS-Net: A convolutional fusion network for large-scale LiDAR point cloud segmentation," ISPRS Journal of Photogrammetry and Remote Sensing, vol. 17, pp. 237-249, 2021. 6. DOI: 10.1016/j.isprsjprs. 2021.04.011 
  10. Jaehyun Park, et. al., "PCSCNet: Fast 3D semantic segmentation of LiDAR point cloud for autonomous car using point convolution and sparse convolution network," Export Systems with Application, vol. 212, 2023. 2. DOI: 10.1016/j.eswa.2022.118815 
  11. https://towardsdatascience.com/3d-machine-learning-course-point-cloud-semantic-segmentation-9b32618ca5df 
  12. M. Ester, et. al., "A density-based algorithm for discovering clusters in large spatial databases with noise," KDD-96, pp.226-231, 1996. 8.