DOI QR코드

DOI QR Code

Multiple Target Tracking using Target Feature Information

표적의 형상정보를 활용한 다중표적 추적 기법

  • Kim, Sujin (The 5th Research and Development Institute, Agency for Defense Development) ;
  • Jung, Young-Hun (The 5th Research and Development Institute, Agency for Defense Development) ;
  • Kang, Jaewung (The 5th Research and Development Institute, Agency for Defense Development) ;
  • Yoon, Joohong (The 5th Research and Development Institute, Agency for Defense Development)
  • Received : 2016.02.01
  • Accepted : 2016.03.25
  • Published : 2016.05.30

Abstract

This paper presents a multiple target tracking system using target feature information. In the proposed system, the state of target is defined as its kinematic as well as feature : the kinematic includes a location and a velocity; the feature contains the image correlation between a prior target and a current measurement. The feature information is used for generating the validation matrix and association probability of joint probabilistic data association (JPDA) algorithm. Through the Kalman filter, the target kinematic is updated. Then the tracking information is cycled by the track management algorithm. The system has been evaluated using the images obtained from Electro-Optics/ InfraRed (EO/IR) sensor. It is verified that the proposed system can reduce the complexity burden of JPDA process and can enhance the track maintenance rate.

Keywords

1. 서 론

최근 건물 내 무인감시 카메라를 통한 보완시스템 구축 및 도로 교통상황 분석뿐만이 아니라 군사 분야에서 무인경계태세 감시 및 정찰을 위해 기동표적 추적기술의 요구가 많아지고 있는 상황이다[1,2]. 표적추적정보는 EO/IR(전자광학/적외선, Electro-Optics/ InfraRed) 센서나 SAR(Synthetic Aperture Radar, 합성개구레이더) 센서 등의 감시센서로 부터 획득된 거리, 방위각 또는 좌표 정보를 기반으로 추적알고리즘을 통해 획득된다[3,4].

감시환경에서 센서를 통해 획득된 측정치들 중 주변 장애물 및 잡음, 지면 또는 태양광, 구름 등 다양한 원인에 의해 표적으로부터 기인하지 않는 측정치 즉, 클러터가 존재하게 된다. 따라서 클러터 환경에 강인한 표적추적을 수행하기 위해서는 표적 추적과정에서 센서로부터 획득한 측정치들을 이용하여 트랙을 생성하고, 이 후 측정치들을 기반으로 트랙정보를 쇄신하기 위해서 추적 중 물체의 측정치를 선택하는 기법인 데이터연관기법(Data Association)이 필수적이다.

현재까지 개발된 데이터연관기법으로는 NN(Nearest Neighborhood), PDA(Probabilistic Data Association), JPDA(Joint Probability Data Association) 등의 알고리즘 개발되었다[4-5]. NN나 PDA는 하나의 물체만을 추적하기 위한 데이터연관기법으로 다중표적이 존재하거나 표적들이 근접한 경우 사용하기 어렵다. JPDA는 각각의 표적과 측정치 간에 발생 할 수 있는 모든 사후 연관확률을 구하는 알고리즘으로 다중표적의 데이터 연관을 지원하나 높은 연산량으로 인해 실시간 연산에 제약을 많이 받는다.

이러한 기존 데이터 연관기법에서 나아가 표적의 추적성능을 개선하기 위한 연구 또한 활발하게 진행되고 있다. 기존에 연구들은 측정치들로부터 거리, 속도, 가속도 등의 운동학 정보 (Kinematic information)를 사용하여 데이터 연관을 수행하는데 반면, 나아가 측정치로부터 반사 신호세기(Amplitude), 형태 특성(Appearance) 등의 유용한 정보를 융합하여 연관시키는 기술 들이 개발되고 있다[7-10]. D. LERRO는 레이더센서 신호로부터 측정된 거리 및 방위각 측정값 외에 RCS(Radar Cross section) 값을 활용하여 추적 성능을 개선하고자 하는 연구를 수행하였으나 PDA 기반의 단일표적 추적만을 지원한다[6]. 그 외 레이더센서 기반 신호세기 정보를 활용한 연구는 활발히 수행되었지만, 주로 RCS 특성분석 관한 연구가 수행되어 왔다[8-10]. S. Wu는 비디오 센서로부터 획득한 이미지 데이터로부터 color histogram, edge-based measures를 형태특성 (Appearance)라 정의하여 k-best JPDA의 cost matrix 생성조건에만 형태특성을 적용한 다중표적추적 기술을 제안하였다[11].

본 논문에서는 EO/IR 영상센서 기반 다중표적 추적기술로 기존의 운동학 정보(Kinematic Information: 위치, 속도, 가속도)외 영상센서로부터 획득된 표적의 형상정보(Feature Information)을 활용한 다중표적 추적기술을 제안한다. 여기서 표적의 형상정보(Feature Information)는 탐지된 영상 화소 값(image intensity)을 이용하여 표적과 측정치의 영상 유사도, 즉 2차원 상관도(2-dimensional Correlation) 정보를 의미하며[14,15]. 영상 상관도 값의 정확도를 높이기 위해 제안기술은 영상분할기법(Segmentation)이 적용된 영상을 활용한다. 다중표적 추적과정에 형상정보를 활용하기 위해 JPDA 기법의 유효화 행렬 생성 과정 및 연관확률 생성과정에 표적의 형상정보를 적용하는 방안을 제안하며, 추적필터 과정에 획득된 연관확률은 칼만게인의 가중치로 적용된다.

본 논문의 구성은 다음과 같다. 2절에서는 표적형상정보를 활용한 다중표적 추적처리를 위한 다중표적 추적시스템에 대하여 설명하며, 3절에서는 개발된 EO/IR센서로 부터 획득된 영상을 기반으로 제안 시스템의 성능을 분석하였으며, 4절에서 결론을 맺는다.

 

2. 다중표적추적 시스템

다중표적추적 시스템은 관측 시간 내에서 획득되는 탐지정보(위치, 영상속성)을 이용하여 이전 항적에 표적정보를 연관시켜 추적을 유지하는 기법이다. 시스템은 항적 초기화, 데이터 연관, 추적필터 기반표적위치 추정, 항적관리 과정으로 구성되며 Fig. 1.과 같다. 그림에서 보는 바와 같이 제안 다중표적 시스템은 입력된 초기 탐지 값을 기반으로 초기화 과정을 통해 가능항적을 생성하고(Propagating tracks), 지속적으로 입력되는 탐지결과를 바탕으로 표적의 다음 항적을 추정한다. 이때 탐지결과는 영상좌표계의 위치 및 표적 이동속도 외 영상 분할된 표적 영상(Segmented image)을 입력받는다. 위치 정보를 통해 클러터와 유효 측정치를 분리한 후 (Gating), 유효측정치와 항적을 연관시키는 JPDA 과정을 수행한다. 이때 JPDA의 유효화 행렬 생성 과정과 연관확률 생성과정에 영상정보가 활용된다. JPDA를 통해 획득된 연관확률이 추적필터 내 추정과정의 가증치로 적용되어 표적의 다음 항적이 추정되며(Track Filtering), 추정된 항적의 정보는 생성, 유지 또는 삭제를 결정하는 항적관리(Track Management) 과정을 통해 지속적으로 갱신된다. 다음 세부절에 각 상세과정을 항적초기화, 데이터 연관, 추적필터, 항적관리로 나눠 설명한다.

Fig. 1Proposed Multiple Target Tracking System

2.1 항적 초기화

항적 초기화 기법은 초기 탐지정보가 입력되어 항적을 새로 생성할 때 필요한 기술로, 본 기술에서는 Two Step Initialization(TSI)를 사용한다[12]. TSI는 현재 입력된 모든 측정치를 항적의 초기값으로 생성하는 One Step Initialization과 달리, 이전 측정치와 현재 측정치를 동시에 고려하여 항적의 초기값을 생성하는 기술이다. 상세히 설명하면, TSI는 표적의 이동속도를 알 때, 추적샘플링 시간간격동안 이동 가능 한 거리만큼의 반경 안에서 표적이 이동하였다고 가정하여, 과거 측정치와의 거리차가 이동 가능한 반경 내에 존재하는 측정치만 초기 트랙으로 할당한다.

Fig. 2는 TSI 대한 상세 예시이다. K는 시간 인덱스로 왼쪽 그림에서 보는바와 같이 K = 0 번째 획득된 측정치는 다음 항적을 생성하기 위해 저장만 하며, K = 1 번째 측정치가 입력되면 한번 이동 가능한 반경 내에 존재하는 현재의 측정치만 새로운 트랙으로 생성한다. 이때, 항적생성에 사용되지 않는 현재의 측정치는 다음 시간에서 트랙을 생성 할 수 있는 가능성이 있는 이전 측정치로 다시 저장된다. K = 2 번째 측정치들이 입력되면, 기존의 트랙으로 할당된 측정치를 제외한 이전측정치로 저장된 측정치들 중 동일하게 이동가능 한 반경 내에 현재 측정치가 존재하는 경우에만 항적을 새로 생성하게 된다.

Fig. 2.Two Step Initialization method.

2.2 데이터 연관

데이터 연관기법(Data Association) [4,5,10]은 클러터가 존재하는 환경에서 표적으로부터 기인한 측정치를 항적으로 연관시켜 유용한 항적을 생성하고자 하는 기술이다. 클러터는 항적 생성 및 유지율이 떨어지게 되어 추적 성능을 열화 시킬 수 있기 때문에 클러터의 영향을 최소화하고 추적성능을 향상시키기 위해서는 데이터 연관기법이 필수적으로 소요된다. 본 연구에서는 유효측정영역 내에 위치하는 모든 측정치들은 표적으로부터 기인된 것이라 가정하고, 다중표적추적에 적용되는 JPDA기법을 고려한다. 특히, 표적의 형상정보를 데이터연관기법에 적용하여 추적의 성능을 향상시키는 기법을 제안한다.

2.2.1 JPDA 연관확률 획득 과정

다중 표적이 동시에 존재하는 환경에서 각 표적의 유효측정영역에서 표적이 서로 결합하는 경우에는 주어진 표적은 다른 표적들에 대하여 독립적이라 하기 어렵다. 따라서 다른 표적들로부터 기인된 측정치들도 동시에 고려해야하기 때문에 각 표적마다의 연관된 정도를 연관확률로 연산한다. JPDA는 유효측 정영역(Validation Gate)내에 존재하는 모든 측정치를 동시에 고려하게 되는데, 여기서 유효측정영역이란 항적의 예측치와 측정치의 확률분포를 이용한 확률적 경계영역으로 다음과 같은 수식으로 계산된다.

여기서 vj,t는 측정치 k 시간의 유효측정영역 내의측정치 개수를 m 이라 할 때 각 j번째 측정치 zj(k)와 표적 t 에 대한 예측치 의 차이인 이노베이션으로, 와 같다.

JPDA에서의 연관확률은 현재시간까지의 측정치 집합 가 주어졌을 때, 모든 각 결합사건 에 대한 복합확률의 합으로 다음과 같이 표현된다.

여기서, 는 j번째 측정치가 t번째 트랙에 연관되는 어떤 사건 θ에 대한 복합확률을 의미하며 아래와 같다.

여기서, c는 표준화상수를 나타내며, 는 결합사건 θ가 주어졌을 때 m개의 유효화 측정치들의 사전 조건부 확률밀도 함수이며, 는 θ에 대한 사전 확률 값이다. 또한 는 j번째 측정치와 t번째 항적간의 발생 가능한 모든 결합사건에 대한 행렬을 의미하며, JPDA의 경우 측정치와 항적 개수에 따라 기하 급수적으로 증가한다. 상세한 유도과정은 참고문헌 [5]에 설명되어 있다.

요약하면 JPDA는 획득된 유효화 행렬로부터 발생 가능한 모든 결합 사건 θ 들을 구하게 되며, βj,t는 zj(k)가 표적 t에 연관될 확률은 어떤 사건 을 포함하는 모든 복합 사건 θ에 대한 복합 확률의 합, β0,t표적 t로부터 아무런 측정치도 발생하지 않을 확률로써 다음식과 같이 표현된다.

2.2.2 표적 형상정보를 활용한 JPDA 연관확률 획득 과정

본 논문에서는 기존의 거리, 속도 등의 운동학 정보(Kinematic information)와 영상센서에서 수신된 영상들로부터 획득한 표적의 특성정보를 데이터 연관기법에 활용하고자 한다. 본 연구에서 고려하는 표적의 형상정보는 탐지된 영상 크기 값의(image intensity)을 이용하여 표적과 측정치의 영상 유사도, 즉 2차원 상관도(2-dimensional Correlation)정보를 의미한다[14,15]. 5여기서 기존 이차원 영상상관도를 활용한 기법에서는 서로 다른 이미지임에도 불구하고, 템플릿의 부분적 밝은 부분(bright spot)이 존재하여, 부분적 상관도가 높거나 같은 값이 나오는 문제가 발생할 수 있다. 상세히 설명하면, Fig. 3의 우측 행렬은 각 영상과 템플릿간의 영상상관도를 나타내는데, 각 행렬에서의 행에 존재하는 영상은 표적의 템플릿 영상을 의미하며, 열에 존재하는 영상은 현재 측정된 표적영상을 의미한다. 상위 행렬의 예시처럼 첫 번째 행에 존재하는 템플릿 영상에서 차량의 헤드라이트에서 밝은 부분이 존재하여 4개의 서로 다른 탐지 영상임에도 불구하고 모든 열에서 영상의 상관도가 같게 나옴을 보인다. 따라서 본 연구에서는 이러한 문제를 해결하기 위해 해당영상의 이미지를 그대로 사용하지 않고, 표적탐지 시 불연속성의 에지검출에 대해서 영상의 특징이 똑같으며 서로 중복되지 않는 연결 영역으로 나누어 처리하는 방법인 영상분할(image segmentation) 기법을 적용하였다. 본 논문에서 활용한 영상분할 방법은 Barnich가 제안한 방법과 같이[6] 연속적으로 입력되는 영상에서 각 픽셀 별 변화 여부, 즉, 배경 모델의 픽셀과 입력 영상의 동 위치 픽셀 간의 밝기 차이를 계산하여 변화가 없는 픽셀 값을 이용하여 배경모델을 추정하는 방법이다. 추정된 배경모델로부터 배경영상을 생성하여 현재 입력된 영상에서 뺀 뒤, 남은 밝기 값에 대하여 임계치를 적용하면 이동한 물체의 이진 형상(binary mask)이 검출된다.

Fig. 3.Results of image correlation according to the application of segmentation.

영상분할 기법 적용을 통해 특정 부분에 의한 부분적 최대 상관도 값을 보인 기존 방법과는 달리 실제 표적의 형상정보가 유사한 경우 큰 형상 유사도를 나타냄을 Fig. 3 하위 영상 상관도 행렬에서 확인 할 수 있다.

제안 기술은 이러한 형상정보를 JPDA의 유효화 행렬을 생성 조건 수식에 적용하며, 수식은 아래와 같다.

여기서 ρj,t(k)는 t번째 표적에 대한 대표 템플릿과 j번째 측정치 영상과의 2차원 상관도를 의미하며, cI는 영상유사도 정도를 판단하는 임계치 값으로, 본 연구에서는 실험값을 통해 0.6으로 설정하였다. 따라서 형상정보를 통해 변형된 유효화 조건식은 측정치들이 표적의 유효측정영역 내 존재하면서 동시에 영상유사도가 어느 일정 값 이상인 경우만을 진 측정치로 판단하여 항적에 연관시킨다. 이에 따라 형상정보를 활용한 JPDA의 유효행렬 생성 예시와 측정치와 표적 간 모든 발생가능한사건 생성과정도 변경된다.

Fig. 4는 JPDA의 실시 예이며, 는 표적 t에 대한 항적 예측치, zj는 j번째 측정치를 나타낸다. 두 번째 표적 와 두 번째 측정치 z2가 형상정보로 인해 연관되지 않는 경우, 해당 유효화 행렬 요소 값은 1에서 0으로 변환된다. JPDA는 이 유효화 행렬을 기반으로 발생 할 수 있는 모든 가능한 사건을 생성하게 되는데, 기존의 JPDA에서는 ‘두 개 이상의 표적은 같은 측정치를 발생시키지 않으며, 하나의 표적은 둘 이상의 측정치를 발생시키지 않는다.’ 라는 가정 하에 8개의 사건이 발생하게 된다. 하지만 형상정보 조건에 의해 유효화 행렬이 변형된 경우, 이에 따라 연관확률 획득 시 필요한 발생 가능 한 사건이 6개의 이벤트로 줄어들게 된다. 이로 인해 JPDA기법은 표적과 측정치 개수가 증가함에 따라 연산의 복잡도가 기하급수적으로 증가하는 단점을 가지고 있는데, 형상 정보를 통해 이러한 연산 복잡도를 줄일 수 있음을 확인하였다.

Fig. 4.Example for JPDA practice. (a) Example for generation of validation matrix (b) Example for generation of feasible matrix..

또한 표적과 측정치간의 거리정보와 영상의 상관도 정보가 서로 독립이라는 가정 하에 이차원 상관도 값을 정규화 하여 복합 확률의 가중치로 적용시켰다. 따라서 연관확률 연산과정에서 형상정보는 다음과 같이 적용된다.

이렇게, 획득된 연관확률은 추적의 필터 최신화 과정에 가중치로 적용된다.

2.3 추적필터를 활용한 항적 추정과정

적용시간 k까지의 측정치 집합이 주어졌을 때 표적 t의 상태 벡터 xt(k)에 대한 예측치 및 이와 관련 된 오차 공분산 행렬 Pt(k)은 다음식과 같다.

여기서 표적의 상태 벡터는 xt(k) = [zX,k, zY,k]로 표적의 위치정보로 표현된다. F(k)는 표적의 동적 운동 모델이 대해 이미 알고 있는 상태변환 행렬이고, Q(k)는 표적 운동의 과정 잡음에 대한 공분산 행렬이다. 표적 t에 대한 상태 추정치 와 이와 관련 된 오차 공분산 행렬 Pt(k+1/k+1)은 수식(8)과 같다.

여기서,

S(k+1)는 이노베이션의 오차공분산 행렬, W(k+1)은 칼만필터게인, R(k+1)은 측정잡음의 공분산 행렬을 나타낸다. 또한, H(k+1)은 측정치와 상태변수의 관계를 나타내는 상태변환 행렬로, 적용 시스템마다 다르게 정의 될 수 있으며, H′ (k+1)는 H (k+1)의 역행렬을 의미한다.

그리고 vt(k)는 이노베이션의 가중 합으로 다음식과 같다

따라서 식(2)와 (6)을 통해 획득한 형상정보를 적용한 연관확률 βj.t는 오차 공분산 행렬 Pt에 적용되며, 특히 식(10) 과 같이 이노베이션에 가중치로 적용 된다.

2.4 다중표적 항적관리

추적 알고리즘은 이전 시간의 항적 정보와 현재 시간의 연관 측정치를 기반으로 현 표적의 항적을 추정해 나가는 알고리즘으로 이후 연속적 표적추적을 위하여 현 표적 추정 값을 갱신 및 삭제 등을 판단하기 위하여 항적관리 연산이 필요하다.

Fig. 5는 본 연구에서 고려한 다중표적 추적 관리 흐름도이다. 초기화 과정을 통해 처음 임의의 생성된 항적을 임의 항적(Tentative Track) 이라 한다. 이때 바로 미탐지 되거나, 항적의 유효영역이 노이즈 분산 행렬로 인하여 임의의 게이트 임계치(Gth)보다 크게 되면 항적을 제거한다. 임의 항적에서 다음 시간에 연속으로 유효 표적이 탐지되면, 보류 항적(Reserved Track)으로 간주한다. 이때는 3가지 항적 제거 조건, 즉, 2회 연속 탐지되지 않거나, 항적의 유효 영역이 노이즈 분산 행렬로 인하여 임의의 게이트 임계치(Gth)보다 크게 되거나, 중복항적이 3회 연속 발생하면 항적을 제거한다.

Fig. 5Flow Chart for Multiple Target Tracking management

여기서 중복항적이라는 조건에 대해, 잠시 설명하도록 한다. JPDA와 같이 모든 측정치를 연관하는 데이터 연관 기법은, 유효영역 내에 있는 모든 측정치를 삭제하지 않고 표적과의 연관관계를 고려함으로써, 지속적으로 연관되고 있는 다중 측정치로 인해 중복되는 항적이 생성된다. 따라서 가측정치로 연관 된 항적은 지속적으로 게이트 크기가 커지면서 새로운 측정치와 연관되어 오항적을 생성하거나, 진측정치로부터 생성된 항적과 중복항적을 생성하게 된다. 본 연구에서는 이러한 문제를 해결하기 위해, 항적 간 추정된 표적 위치 값이 아주 가까운 거리에 존재하고 각 항적에서 연관된 측정치들이 같은 경우 중복항적이라고 고려하고 중복항적 중 누적 항적(track history)이 긴 항적을 제외한 중복항적은 삭제하도록 하였다. 다시 추적 관리 과정에 대해 설명하도록 한다.

보류 항적(Reserved Track)에서 여러 항적 중, 위의 3가지 항적 제거 조건 중 하나라도 만족하게 되면 항적을 제거하게 된다. 그렇지 않고 지속적으로 칼만필터를 통해 갱신을 통해 탐지 결과가 입력되면, 확정된 항적(Confirmed Track) 으로 간주한다. 확정된 항적은 다음 시간에서 탐지결과가 발생하지 않더라도, 유효항적으로 간주하고 잠시 메모리 항적(Memory Track) 저장한다. 이는 확정된 항적인 경우 항적이 유지될 확률이 높기 때문에 비록 순간 탐지된 결과가 존재 하지 않더라도 아직 항적은 유효하다고 간주하는 것이다. 그 후 메모리 항적에서 재 탐지된 결과가 있으면 확정 항적을 지속적으로 유지하며, 그렇지 않고 2회 연속 미 탐지되거나 나머지 항적 제거 조건들을 만족하게 되면 메모리 항적도 제거한다.

 

3. 시험결과 및 고찰

3.1 형상정보를 활용한 표적추적 결과

본 연구에서는 EO/IR 센서로부터 입력된 영상을 기반으로 표적의 위치, 속도 및 표적의 형상정보를 사용하여 항적 추정의 정확도 및 유지율을 향상 시키고자 하였다.

Fig. 6은 클러터가 존재하는 경우 형상정보를 사용한 경우와 사용하지 않는 경우의 트랙 추적의 예이다. 그림에서 사각형은 각 항적의 게이트 사이즈를 의미하며, 각 표적 뒤에 그려지는 선들은 표적경로를 의미한다. 앞서 설명했듯이 본 연구에서는 형상 정보를 활용하여 항적과 측정치간 형상 유사도가 어느 이상을 넘지 않는 표적은 고려하지 않는다. Fig. 6의 (a) 처럼 거리정보만을 이용한 경우 JPDA를 사용하게 되면 추정 항적과 가까운 거리에 존재하는 측정치외 클러터가 연속으로 탐지되면 새로운 항적을 생성함을 확인하였다. 하지만, Fig. 6의 (b) 처럼 형상정보를 사용하는 경우에는 비록 거리가 가깝다 하더라고, 형상정보에 의해 클러터는 유효화 행렬에서 할당되지 않기 때문에 항적으로 생성되지 않고, 표적만 추적을 유지함을 확인하였다. 따라서 클러터가 존재하는 환경에서 형상정보를 활용한 추적시스템은 항적의 정확도도 향상 시키며, 모든 발생 가능한 사건이 줄어듦으로써 연산의 복잡도도 낮아지게 될 수 있음을 확인하였다.

Fig. 6.Results of multiple target tracking in clutter environment. (a) The case of using the kinematic information (b) The case of using the kinematic information and feature information.

Fig. 7에서는 교차로에서 표적의 형상이 다른 두 표적이 교차 했을 때의 예이다. 본 예시는 두 교차하는 표적간의 거리가 인접하며, 상관도 역시 일정 임계치값 이상인 경우이다. Fig. 7(a)는 형상정보를 사용하지 않고 JPDA만을 고려한 경우이다. 아래 경로에서 올라가던 차량과 횡방향으로 움직이는 차량이 교차하게 된다. 이 경우 거리정보만을 사용함으로써 더욱 가깝게 존재하던 다른 표적으로 항적을 할당하게 되며, 43번째 시간에서는 더욱 가까운 거리에 존재한 오표적으로 할당하여, 항적이 끊긴 후 새 항적을 생성함을 보인다. 하지만 Fig. 7(b)에서 보는바와 같이 교차하는 경우, 형상정보에 대한 가중치가 같은 표적에 대해 연관확률의 가중치가 높게 계산됨으로써, 서로 다른 표적이 인접거리에 존재하더라도 형상정보를 통해 기존의 항적을 지속적으로 유지하고, 새롭게 탐지된 표적은 새 항적을 생성함을 확인 할 수 있다.

Fig. 7.Results of multiple target tracking in targe crossing. (a) The case of using the kinematic information (b) The case of using the kinematic information and feature information.

3.2 중복트랙 삭제를 적용한 트랙 관리 결과

본 연구에서 고려하는 JPDA기법은 항적과 측정치를 연관시키는 과정에서 유효영역 내에 존재하는 모든 측정치에 대하여 연관확률을 연산하기 때문에 유효영역 내 존재하는 측정치들은 해당 표적에 연관되어 있다. 따라서 다음 추적시간에 클러터가 유효영역 근처에서 지속적으로 발생하게 되면 새로운 트랙을 생성하게 되고, 클러터가 사라진다 하더라도 트랙을 삭제하지 않고 중복해서 생성하는 문제가 있음을 설명하였다. 따라서 항적의 위치좌표들이 서로 어느 이하로 가깝게 있고, 각 항적이 연관하고 있는 측정치가 동일한 경우 중복항적이라 판단하여 해당 항적을 삭제한다.

Fig. 8(a)는 기존 항적관리를 적용한 예이다. 그림에서 보는바와 같이 동일 표적에 대하여 서로 다른 2개의 사각형, 즉, 2개의 동일한 항적이 생성 되었으며 클러터로 연관된 항적은 게이트가 지속적으로 커지면 추적의 정확도가 떨어져 뒤에 따르는 표적에 대한 항적이 잘못 연관됨을 볼 수 있다. Fig. 8(b)는 중복항적을 제거한 예이다. 따라서 뒤에 따르는 표적이 탐지되었을 때 다른 표적에 연관되지 않고, 새로운 항적을 생성함을 확인 할 수 있다. 따라서, 중복항적이 생성된 경우, 이 항적을 제거함으로써 진 측정치를 통해 지속적으로 항적를 유지하고, 또한 다른 측정치가 탐지되는 경우 새로운 항적을 바로 생성하여 추적성능을 개선함을 확인 할 수 있다.

Fig. 8.Results of an overlapped track delete. (a) Before applying the track delete algorithm. (b) After applying the track delete algorithm.

 

4. 결 론

본 연구에서는 표적형상정보를 활용한 다중표적 알고리즘에 대한 내용으로, 복잡도는 높지만 추적성능이 좋은 JPDA기법에 표적의 형상정보를 부가적으로 적용하여 데이터 연관기술을 설계한 내용이다. EO/IR 센서로부터 획득된 영상에서 탐지과정을 통해 통한 표적의 위치 정보뿐만이 아니라 영상 분할 처리된 표적형상정보를 획득하여 JPDA 기법에 적용하는 방안을 제안하였다. 제안 알고리즘은 클러터와 진측정치를 구별하는 별도의 정보를 추가 제공함으로써 다중표적 추적의 항적 유지율 향상 및 복잡도 감소 효과를 보임을 확인하였다.

또한 본 연구에서 고려한 JPDA 기법이 유효영역 내 모든 측정치에 대한 연관확률을 연산함으로써 항적 근처 클러터 및 진측정치로 인하여 중복트랙이 생성되는 문제가 발생함에 따라, 항적관리 알고리즘에서 중복트랙을 판단 조건을 설정하여, 중복트랙 생성 시 항적삭제를 통해 오트랙 생성 문제를 해결하였다.

따라서 본 연구는 EO/IR센서로 부터 획득한 실 영상을 기반으로 다중표적 추적 수행을 확인하였으며, 형상정보 활용을 통해 복잡도 감소 및 오탐지율, 항적 유지율 향상 등을 확인함으로써, 미래 감시정찰 시스템에 해당 기술이 적용 가능함을 증명해 보였다.

References

  1. T.S. Jin and M.J. Lee, “Application and Technology of Multiple Target Tracking based on Image,“ Journal of Korea Robotics Society, Vol. 4, No. 4, pp. 47-53, 2007.
  2. T.L. Song, “Multi-target Tracking Filters and Data Association: A Survey,” Journal of Institute of Control Robotics and Systems, Vol. 20, No. 3, pp. 313-322, 2014. https://doi.org/10.5302/J.ICROS.2014.14.9018
  3. J.W. Kim and J.H. Kim, “Development Trends of EO/IR’,“ Korea Defense Industry Association, Defense & Technology, pp. 86-96, 2015.
  4. S.I. Lee, J.Y. Kim, K,H. Kim and B.H. Koo, “Small Target Detection Method under Complex FLIR Imagery,“ Journal of Korea Multimedia Society, Vol.10, No. 3, pp.432-440, 2007
  5. S. Samuel and Blackman, Multi-Target Tracking with Radar Application, Dedham, MA: Artech House, 1986.
  6. Y.B. Sharlom and T.E. Fortmann, Tracking and Data Assocation, FL: Academic Press, Orlando, 1988.
  7. O. Barnich and M.V. Droogenbroeck, “ViBe: A Universal Background Subtraction Algorithm for Video Sequences,” IEEE Transactions on Image Processing, Vol. 20, No. 6, pp. 1709-1724, 2011. https://doi.org/10.1109/TIP.2010.2101613
  8. D. Lerro, “Interacting Multiple Model Tracking with Target Amplitude Feature," IEEE Transactions on Aerospace and Electronic Systems, Vol. 28, No. 2, pp. 494-509, 1993. https://doi.org/10.1109/7.210086
  9. M. Mertens and M. Ulmke, "GMTI Tracking Using Signal Strength Information," Proceeding of IEEE 13th Conference on Information Fusion, pp. 1-8, 2010.
  10. E.F. Brekke, O. Hallingstad, and J.H. Glattetre, "Target Tracking in Heavy-Tailed Clutter using Amplitude," Proceeding of IEEE 12th International Conference on Information Fusion, pp. 2153-2160, 2009.
  11. L.M. Ehrman, C. Burton, and W.D. Blair, "Using Target RCS to Aid Measurementto- Track Association in Multi-Target Tracking," Proceeding of IEEE 38th Southeaster Symposium on System Theory, pp. 89-93, 2006.
  12. S. Wu, Y. Tan, S. Das, C. Broaddus, and M.Y. Chiu, "Multiple-Target Tracking via Kinematics, Shape and Appearance Based Data Association," Proceeding of SPIE Signal and Data Processing of Small Targets, Vol. 7445, pp.1-10, 2009.
  13. X. Wang, D. Musicki, R. Ellem, and F. Fletcher "Enhanced Multi-Target Tracking with Doppler Measurements," Proceeding of IEEE Information, Decision and Control, pp. 53-58, 2007.
  14. Blackman, S. Samuel, and R. Popoli, Design and Analysis of Modern Tracking Systems, MA: Artech House, Norwood, 1999.
  15. J.P. Lewis, Fast Normalized Cross-Correlation, http://scribblething.org (accessed Apr., 10, 2015).
  16. J.G. Ellis, K.A. Kramer, and S.C. Stubberud, "Image Correlation Based Video Tracking," Proceeding of IEEE International Conference on Systems Engineering, pp. 132-136, 2011.
  17. J.N. Sarvaiya, S. Patnaik, and S. Bombaywala, "Image Registration by Template Matching Using Normalized Cross Correlation," Proceeding of IEEE International Conference on Advances in Computing, Control and Telecommunication Technologies, pp. 132-136, 2009.