1. 서 론
최근 범죄와 테러 등 사건 사고 발생률이 증가함에 따라 사회 안전을 위해 CCTV(Closed Circuit television)를 중심으로 한 지능형 영상 감시 시스템(Intelligent video surveillance system) 개발의 필요성이 중요시 되고 있다[1]. CCTV나 카메라를 기반으로하는 실시간 지능형 영상 감시 시스템은 기존의 관제 요원이 직접 감시하거나, DVR(Digital Video Recorder)를 이용하여 사후에 검사를 하도록 되어있는 시스템과는 달리 실시간으로 영상을 분석하여 감시 상황에 맞는 이벤트를 발생시킨다. 발생되는 이벤트는 알람, 경보 등으로 담당자에게 온-라인(on-line)으로 알려주는 행동을 수행하며 실시간 대응이 가능하도록 하는 시스템이다. 지능형 영상 감시 시스템은 영상 분석, 컴퓨터 비전, 패턴 인식 등의 기술을 적용하여 재난이나 테러, 방화, 거리 보안, 교통량 측정, DMZ 경계, 불법 주정차 단속 등 많은 분야에 활용되고 있다[2]. 특히, 범죄로 인한 인명 피해를 예방하기 위해 사람 인식 및 관련 정보를 이용한 침입자 탐지, 추적 기술의 개발이 각광받고 있으며, 실시간으로 영상의 감시와 분석이 가능하기 때문에 영상 처리를 이용한 지능형 영상 감시 시스템의 수요가 매년 증가하고 있다.
지능형 영상 감시는 보통 이동물체의 탐지를 위한 움직임 영역 추출, 감지된 이동물체의 추적을 위한 움직임 영역의 특징 정보 추출, 마지막으로 특징 벡터를 기반으로 한 이동물체의 추적으로 이루어져 있다[3]. 현재, 연속된 두 개의 영상 차이를 이용하는 움직임 영역 추출 기술은 많은 연구가 진행된 바 있으며 고정된 환경에서 Haritaoglu 등은 입력된 영상의 컬러의 픽셀(pixel) 변화를 학습하여 배경을 모델링하는 방법을 제안하였고[4], Barnich 등은 배경의 차를 이용하여 이동물체를 검출하는 방법을 제안하였다[5]. 상기와 같은 방법들은 배경 모델링 이후 매우 빠른 속도로 움직임 이동물체를 추출 할 수 있는 장점을 갖고 있지만, 조도 변화나, 잡음 등에 민감한 특성을 갖고 있다[20-24].
또한, 검출된 이동물체를 효과적으로 분석하고, 인식하기 위해서는 추출된 움직임 이동물체만의 고유 특징 벡터가 필요하다. 특징 벡터를 추출하기 위한 방법으로 색상(color), 윤곽선(skeleton), 형태, 질감, 모양 등 많은 연구가 진행된바 있다[6-10]. 이러한 방법 중 Dalal 등은 윤곽선 정보를 이용하여 사람, 자동차 등과 같은 이동물체를 인식하는 방법을 제안하였다[6]. 이 방법은 에지(edge) 기반을 이용하기 때문에 영상의 밝기 변화나, 조명 변화 등에 덜 민감하다는 장점이 있지만, 내부 패턴이 복잡하지 않으면서 고유의 독특한 윤곽선 정보를 갖고 있어야 하는 단점도 있다.
그리고, 이동물체의 특징 정보를 이용한 추적 알고리즘으로는 희소 추적 방법인 Lukas-Kanade의 optical flow 방법이 제안되었다[7]. 이 방법은 입력되는 두 영상에 대해 각 영상이 갖고 있는 코너 점의 픽셀에 대한 윈도우(window)를 설정하고, 다음 프레임(frame)에서 이 윈도우와 가장 잘 매칭(matching)되는 곳을 찾는 방법이다. 하지만, 모든 픽셀에 윈도우를 설정하고, 특징점을 매칭한다면 연산량이 많아 인식 속도가 느려지는 단점이 있다. Lowe 등은 영상의 크기와 회전에 불변하는 특징을 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘을 제안하였다[8]. SIFT 알고리즘은 크기, 조명, 평행 이동, 회전에 강인한 반면 계산량이 많은 단점이 있다[9]. 또한, Comaniciu 등은 컬러 분포를 특징 값으로 사용하는 Meanshift 알고리즘을 제안하였다[10]. Meatshift 알고리즘은 추적하고자 하는 대상 이동물체에 컬러 히스토그램을 데이터베이스에 저장하고, 입력된 영상에서 추출한 이동물체와 가장 유사한 히스토그램을 갖는 윈도우 영역을 찾는다. 그러나, 이 방법 또한 복잡한 계산량에 의해 실시간 추적에는 무리가 따른다. 이러한 문제점을 보완하고, 연속적인 영상에 적용하기 위해 탐색 윈도우의 크기를 조정하는 CAMshift(Continuously Adaptive Mean-Shift) 알고리즘이 제안되었다[11]. 그러나, 이 방법 역시 조도 변화나 잡음에 영향을 많이 받는 단점이 있다.
따라서, 본 연구에서는 상기 문제점을 보완하고 이동물체의 식별 및 추적 기술의 향상을 위한 시스템을 제안한다. 제안된 시스템은 크게 3 부분으로 나뉘어 진다: 이동물체 추출 (object detection), 이동물체 식별(object recognition), 그리고, 이동물체 추적 (object tracking). 먼저, 이동물체의 추출을 위해 GMM(Gaussian Mixture Model) 기법[12, 13]을 이용하여 배경을 모델링하고, 모델링 된 배경에서 영상의 잡음을 제거하기 위해 기하학적 기법을 제안한다. 그 다음 모델링된 배경에서 다수의 이동물체 영역을 인식하기 위해 라벨링 기법을 사용한다. 그리고, 라벨링 기법을 통해 인식된 다수의 이동물체 식별을 위해 optical flow 기법과 색상정보를 융합한 방법을 제안한다. 마지막으로, 이동물체의 추적을 위해서 칼만필터와 이동물체의 위치 및 이동거리 정보를 이용한 추적 알고리즘을 제안한다. 최종적으로, 본 논문에서 제안한 방법은 여러 실험을 통해 그 응용 가능성을 제시한다.
본 논문의 구성은 다음과 같다. 2절에서는 제안한 전체 시스템 블록도에 대해 설명하고, 3절에서는 이동물체 영역의 추출 및 인식과 인식된 영역의 식별, 그리고 추적 방법에 대해 설명한다. 4절은 실험 및 결과 고찰 순으로 진행되며, 마지막으로 5절에서 본 논문에서 제안한 기법의 응용 가능성 및 결론을 맺는다.
2. 전체 시스템 블록도
본 논문에서 제안하는 optical flow와 EMD 알고리즘을 이용한 다수의 이동물체 식별과 Kalman filter를 이용한 추적 알고리즘의 전체 시스템 블록도는 그림 1과 같다. 그림 1은 크게 이동물체 추출, 이동물체 인식 및 식별, 그리고, 이동물체 추적 등 3부분으로 나누어진다.
그림 1제안하는 시스템 블록도 Fig. 1 Block diagram of the proposed system
첫 번째로, 입력받은 RGB(Red-Green-Blue) 영상에서 이동물체를 추출하기 위해 배경을 모델링한다. 배경을 모델링하기 위한 방법으로는 조명 변화나, 이동물체의 모양 변화 등에 적응적이고 강인한 GMM 방법을 이용한다[12, 13]. 그리고 모델링 된 배경에서 이동물체가 검출되면, 검출 과정에서 발생하는 그림자 및 잡음으로 인한 인식 오차율을 줄이기 위해 영상의 이진화와 모폴로지(morphology) 기법을 수행한다[14]. 두 번째로, 추출된 다수의 이동물체의 각 이동 영역을 인식하기 위해 라벨링 기법을 이용한다. 그 다음, 라벨링을 통해 인식된 이동물체를 식별하기 위해 optical flow와 EMD 알고리즘 방법을 융합하여 이동물체를 식별한다. 세 번째로, 식별된 이동물체를 추적하기 위해 칼만필터를 이용하여 이동물체의 추적 위치를 예측, 보정한다. 이때, 이동물체 추적 중 다수 이동물체가 겹쳐져 하나의 이동물체로 인식되거나, 겹쳐진 이동물체가 다시 분리되는 경우에도 지속적인 추적을 위해서 칼만필터에 의해 보정된 추적 위치와 각 이동물체의 위치 및 이동거리 정보를 이용한 추적 알고리즘을 제안한다.
3. 다수 이동물체의 인식 및 추적
3.1 GMM과 모폴로지 기법을 이용한 이동물체 추출
본 절에서는 감시 카메라로부터 입력된 RGB 영상에서 이동물체를 추출하기 위해서 먼저 GMM 기반의 전배경(foreground) 분리 방법을 이용하고 이 결과 영상에서 빛의 반사와 그림자를 분리하기 위해 영상에 이진화(binary)를 수행한다. 마지막으로, 모폴로지 기법을 이용하여 노이즈를 제거하여 최종적으로 이동물체를 추출하는 방법을 제안한다.
먼저, 감시 카메라로부터 입력된 RGB 영상에서 움직임 이동물체를 검출하기 위해서 확률 모델을 이용하는 GMM 기반의 전배경 분리 방법을 이용한다. GMM은 복수 개의 가우시안 확률 밀도 함수로 데이터의 분포를 모델링하는 방법이다. 본 논문에서는 먼저 입력영상 내 각 픽셀에 대하여 가우시안 확률 밀도 함수로 모델링한다. 그 다음, 픽셀의 변화에 따라 평균과 분산, 가중치를 적용하여 매 프레임마다 새로 입력되는 값을 적응시켜 학습된 배경을 형성하며, 배경의 학습을 통해 이동물체를 분리하고 검출한다. GMM의 개념도는 그림 2와 같으며, 수식은 식 (1)과 같다.
그림 2가우시안 혼합 모델 Fig. 2 Gaussian mixture model
여기서, x는 입력 데이터, p(x|ωi, θi)는 평균이 ωi이고, 분산이 θi인 확률밀도함수를 의미하고, P(ωi)는 각 확률밀도함수의 가중치이다.
배경 모델링된 상태에서 이동물체가 검출되었을 때 영상은 이진 영상이기 때문에 빛의 반사와 그림자가 발생한다. 이때 발생하는 그림자와 전배경을 분리하기 위해 임계값(threshold)을 이용한다. 사용된 임계값은 식 (2)와 같다.
여기서 B(x,y)는 배경 모델을 나타내며, D(x,y)은 입력 영상을 나타낸다
그러나, 임계값을 적용하여 그림자 영역을 제거하여도 광원 변화나 카메라의 미세한 흔들림으로 인해 잡음이 발생한다. 이를 처리하기 위해 기하학적 영상 처리 기법인 모폴로지 연산 중 침식(erosion) 연산을 통해 영상의 노이즈를 제거하고, 영상의 침식 과정에서 발생하는 이동물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 손실된 부분을 복원한다.
제안된 방법을 사용한 결과는 다음과 같다: 그림 3(a)는 입력 영상이며, 그림 3(b)는 입력영상 3(a)를 GMM 기법을 이용하여 이동물체를 추출한 영상이다. 여기서 사각형은 이동물체의 그림자를 나타낸다. 이 그림자를 제거하기 위해 이진화 기법을 사용한 결과는 그림 3(c)와 같다. 본 그림에 의하면 그림자가 완전히 사라졌음을 나타낸다. 그러나 그림 3(c)에서 볼 수 있듯이 아직 노이즈들이 존재한다. 그림 3(d)는 이러한 노이즈는 모폴로지 기법을 이용하여 제거한 영상을 나타낸다.
그림 3이진화와 모폴로지 연산을 이용한 이동물체의 노이즈 제거 Fig. 3 Noise elimination of the moving object by using binary and morphology
3.2 다수의 이동물체 영역 인식 및 식별 방법
모폴로지 연산을 통해 얻어진 다수의 이동물체 영역을 인식하기 위한 방법으로 라벨링을 수행 한다[15]. 라벨링 기법은 입력 영상의 각 블롭들(blobs)에 대해 4 방향 또는 8 방향 커널을 적용하여 이웃 픽셀로 뭉쳐있는 영역을 찾아내는 방법이다. 본 연구에서는 라벨링 된 영역중 일정한 크기를 넘지 못하는 라벨은 잡음으로 간주하였다.
다음 그림 4는 라벨링 기법을 통해 이동물체를 인식한 결과이다.
그림 4이동물체 추출 영역에 대한 라벨링 수행 결과 Fig. 4 Labeling result in extraction area of the moving object
다음, 그림 4와 같이 라벨링 기법을 통해 인식된 다수의 이동물체를 식별하기 위해서는 각 이동물체만의 고유 특징 정보를 알아야 하며, 이들의 행동을 분석하고 추적하기 위해서 특징 정보를 분석하는 과정이 선행되어야 한다. 따라서 본 연구에서는 이동물체 간의 고유 특징 정보를 알기 위해 영상의 왜곡에 강인한 특징점을 추출하여 optical flow 기법을 적용하며, 추출된 특징점을 기반으로 색상 정보 분석을 통한 다수의 이동물체 식별 방법을 제안한다.
먼저 특징점을 추출하기 위해 인식된 이동물체에 대하여 Shi와 Tomasi가 제안한 특징점 추출 방법을 이용하며 특징점은 다음 수식을 만족하는 점들로 주어진다[17].
식 3은 Harris[16]가 제안한 방법으로, β는 미리 정의된 임계값, λ1, λ2는 두 고유벡터 방향에 대한 실제 영상 변화량을 의미한다. 여기서 λ1, λ2 중 최소값이 β보다 크면 특징점으로 식별하며 본 논문에서는 식별된 특징점을 Fb(x, y) (b = 1 ⋯⋯ d)라 정의한다.
그 다음 추출된 특징점을 이용해 optical flow 알고리즘을 적용한다. optical flow 알고리즘이란 입력되는 두 영상에 대해 각 영상이 갖고 있는 특징점을 추출하고, 잘 매칭된 특징점들에 대한 픽셀 이동량을 나타내는 방법이다[17]. 여기서, 입력 영상의 모든 픽셀 정보를 구하면 연산량이 크게 증가하는 문제를 갖고 있다. 따라서 이러한 문제점을 해결하기 위해 이동물체 영역 주변에 관심영역을 지정하고, 관심영역 내에서만 픽셀 이동량을 계산함으로써 전체적인 연산량을 줄여 실시간 검출이 가능하도록 한다. 다음 그림 5는 optical flow 기법을 통해 이전 이동물체 특징점 추출과 현 이동물체의 특징점 추출결과에 대해 두 영상을 매칭한 결과를 도시한 그림이다. 먼저, 그림 5(a)와 5(c)는 이전 영상과 현재 영상에 대하여 인식된 이동물체 추출 영역이다. 그리고 5(b)와 5(d)는 각 이동물체 추출 영역에 지정된 관심영역에 대해 optical flow 기법을 적용한 결과를 나타낸다. 여기서, optical flow 기법을 적용하여 매칭된 특징점 Fb(x, y)는 검정색 원으로 도시한다.
그림 5두 영상간의 특징점 매칭 결과 Fig. 5 Matching results of feature points between two images
다음으로, 다수 이동물체의 식별을 위해 매칭된 특징점을 기반으로 색상 정보를 분석한다. 여기서, 특징점에 대해 색상정보를 분석하기에 앞서 이동물체로부터 추출된 가장 의미 있는 특징점을 선정한다. 본 논문에서는 이동물체의 강인한 식별을 위해서는 여러 실험을 통해 최소 3개 이상의 특징점이 필요하다고 판단하였다. 또한 매칭된 모든 특징점 영역에 대해 매 프레임마다 색상 정보를 분석하게 되면 이동물체 영역의 식별 성능은 향상되지만, 연산량이 매우 많아지는 문제점이 있다. 따라서 이동물체의 실시간 추적을 위해 가장 의미 있는 특징점 4개를 선정하였으며, 특징점을 선정하는 기준은 이동물체의 움직임 변화량이 가장 적은 부분으로 이동물체 영역의 무게중심으로부터 가장 가까운 특징점을 선택하였다. 이동물체의 무게 중심과 특징점간에 거리는 각각 식 4과 식 5와 같이 구한다.
여기서, (Mokx, Moky)는 k 번째 이동물체 Mok의 무게중심을 의미하며, Nm은 k번째 이동물체 영역의 x축의 영역의 픽셀의 수, Nn은 k번째 이동물체 영역의 y축 영역의 픽셀의 수를 의미한다. Eudb는 k 번째 이동물체 Mok와 특징점(F)간의 Euclidean 거리를 의미하며, (Fbx, Fby)는 b번째 특징점 Fb(x, y)의 좌표를 의미한다.
다음 그림 6(a)는 이동물체 추출 영역이며, 6(b)는 색상 정보를 분석하기 위해 이동물체의 무게중심(검정색 원)으로부터 4개의 특징점에 대하여 관심영역을 지정한 결과를 나타낸다. 여기서, 지정된 관심영역은 검정색 Box로 도시한다.
그림 6특징점 중심으로부터의 관심영역 지정 결과 Fig. 6 Pixel information with the matched feature points and the region of interest
다음으로, 관심 영역 내의 색상 정보 분석을 위한 방법으로 조명의 변화에 강인한 EMD 알고리즘을 적용한다[18]. 여기서 EMD는 비교대상이 되는 두 개의 히스토그램이 있을 때 이 중 특정한 히스토그램과 일치시키기 위해 얼마나 많은 양을 옮겨야 하는지 계산한다. 이 때 필요한 최소 작업량(WORK)을 이용하여 두 히스토그램의 유사도를 판단한다. 식 (6)과 같이 두 히스토그램 P와 Q를 정의한다.
여기서, pi와 qj는 색상을 의미하며, wpi와 wqj 색상에 대한 비율을 의미한다.
이때, 히스토그램 P와 Q의 거리는 P가 Q의 히스토그램과 일치시키기 위해 들어가는 최소 WORK양을 계산함으로써 측정할 수 있으며, 식으로 표현하면 다음과 같다.
여기서, WORK는 히스토그램에서 옮겨진 색상의 거리 dij(ground distance)와 옮겨진 색들의 양 fij의 곱으로 나타낸다. dij는 pi를 qj로 이동시키기 위해 이동하여야 하는 거리를 의미하며, 본 논문에서는 이동 거리 척도를 색상(Hue)과 채도(Saturation) 값으로 이루어진 2차원 히스토그램에서의 Euclidean 거리로 정의하였다. 또한 fij는 pi를 qj로 이동시키기 위한 일의 양으로 정의된다. 두 히스토그램을 일치시키기 위한 값 dij, fij와 식 (7)의 결과가 최소값이 되도록 하는 값으로 EMD가 정의되며, 다음과 같은 제약 조건이 적용된다.
EMD는 전체 흐름에 대한 정규화 작업을 통해 다음 식 (11)과 같이 정의한다.
본 논문에서는 이동물체 영역을 식별하기 위해 이동물체로부터 추출된 특징점을 기반으로 4개의 관심 영역에 대해 히스토그램을 계산하며, 각 각의 히스토그램으로부터 계산된 EMD 값을 바탕으로 사용자가 지정한 임계값을 통하여 이동물체의 유사도를 판별하고, 식별한다. 여기서 그림 6(a)는 데이터베이스에 저장된 이동물체에 대하여 4개의 관심영역 중 한 개 영역의 색상과 채도 히스토그램이며, 그림 6(b)도 마찬가지로 현재 입력 영상에서 식별하기 위한 이동물체의 히스토그램을 나타낸다. 다음 그림 7(c)는 두 개의 히스토그램에 대하여 EMD 계산을 통해 유사도를 판별하여 Mo1을 식별한 결과를 도시한 그림이다. 또한 식별된 이동물체가 감시영역에 머무른 시간을 알 수 있도록 시간(t)를 적용하며, Mok(t)와 같이 정의하였다. 여기서 Mok(t)는 k번째 이동물체가 감시 영역에 머무르는 시간을 의미한다.
그림 7EMD 값을 이용한 Mo1의 유사도 판별 및 식별 Fig. 7 Result of the similarity and identification of Mo1 using the EMD algorithm
상기와 같은 식별 과정을 매 프레임마다 수행함으로써 영상에서의 이동물체 영역을 식별하였으며, 이는 다수의 이동물체에 대해서도 식별이 가능함을 실험을 통해 보인다.
3.4 칼만필터와 이동물체의 위치 및 이동거리 정보를 이용한 추적
본 절에서는 앞서 식별된 이동 물체의 추적을 위한 방법으로 칼만필터를 이용한다[19]. 여기서, 이동물체의 식별된 위치에 대하여 칼만필터를 적용하기 위한 시스템은 다음과 같이 모델링 하였다. 먼저, 이동물체의 추적 위치 (x, y)와 속도(vx, vy)를 식 13과 같이 상태벡터로 나타낸다.
여기서, 시간 t에서의 상태 벡터 Xt는 식 14와 같이 나타내며, 전이 행렬 A는 식 15와 같다.
여기서, B는 사용자 입력에 의한 상태 전이 행렬, wt는 예측 노이즈 공분산 행렬 Qt를 가지는 가우시안 분포 wt ∼N(0, Qt)를 따르는 잡음 오차를 의미한다.
그 다음 측정값 zt는 인식된 이동물체의 위치이며, 식 16과 같이 측정 방정식을 나타낼 수 있다.
여기서, zt는 인식된 이동물체의 위치만을 가지며 vt는 측정노이즈 공분산 행렬 Rt를 가지는 가우시안 분포 vt ∼N(0, Rt)를 따르는 잡음 오차를 의미한다. 따라서 상태 행렬 H는 상태 벡터에서 속도를 나타내는 요소는 제거하고, 위치를 나타내는 요소만 적용하여 다음 식 17과 같이 나타낼 수 있다.
상기와 같은 처리 과정을 통해 칼만필터를 적용하여 이동물체의 추적 위치를 보정한다. 하지만, 그림 8과 같이 다수의 이동물체 영역이 겹쳤을 경우에는 두 물체의 영역이 하나의 이동물체로 인식되는 경우가 있다. 여기서, 인식된 이동물체 영역에 대해서만 식별하고, 추적하기 때문에 겹쳐진 이동물체는 추적에 실패하는 경우가 발생한다. 원인은 겹쳐진 물체의 위치를 갱신하지 못하기 때문이다. 따라서, 본 논문에서는 이와 같은 문제점을 해결하기 위한 방법을 제안한다.
그림 8이동물체의 겹침 현상 Fig. 8 The overlap phenomenon of object
그림 9는 본 논문에서 제안하는 다중 이동 물체의 인식, 물체의 식별 및 추적에 대한 전체 알고리즘을 도시한 그림이다. 그림 9에 도시된 알고리즘은 크게 3 부분으로 나누어지며, 설명은 다음과 같다:
그림 9이동 물체 추적을 포함한 제안된 전체 알고리즘 Fig. 9 The proposed algorithm including object tracking
1) 이동물체 인식 및 식별 : GMM 기반의 모델링 된 배경 영상에서 이동물체가 인식되었을 경우 이동물체를 식별하기 위해 optical flow와 EMD 기법을 이용하며, 다음과 같은 식별 과정은 매 프레임마다 수행된다. 만약 이동물체 영역의 식별이 완료되면 이동물체의 시간변수 T는 입력 영상으로부터 식별이 처음 완료된 시간을 갱신하게 된다. 그리고 인식된 이동물체 식별에 실패 할 경우에는 위치 추정 단계를 수행한다.
2) 칼만필터를 이용한 추적 및 겹침 여부 판단 : 식별된 이동물체의 위치는 칼만필터를 이용하여 추적 위치를 보정한다. 그 다음, 다수의 이동물체가 겹쳐진 경우를 판단하기 위한 방법으로 Euclidean 거리를 이용하며 식 18과 같이 나타낸다.
여기서, i와 j는 식별된 이동물체의 번호를 의미하고, 두 이동물체의 distance와 사용자 정의 거리 δ1를 이용하여 겹침 여부를 판단한다. 만약 이동물체가 겹쳐지지 않은 경우 해당 이동물체 영역의 위치를 갱신하고, 추적하게 된다.
3) 이동물체의 위치 추정 : 인식된 이동물체의 식별에 실패하거나, 다수의 이동물체가 겹쳐진 경우에는 위치 추정 알고리즘을 수행한다. 본 연구에서는 위치 추정을 위해 칼만 필터로 보정된 이전 영상에서의 추적위치 (Previous object)와 식별에 다시 성공된 현재 이동물체 영역 와의 Euclidean 거리를 이용하며 식 19와 같이 나타낸다.
여기서, 두 이동물체의 거리 오차 Error가 사용자 정의 거리 δ2보다 작을 경우 식별된 이동물체 영역은 동일 물체로 추정하여 의 위치는 의 위치로 갱신된다. 따라서 다음과 같은 방법으로 식별에 실패 할 경우에도 추적 위치를 갱신함으로써 지속적인 추적을 가능하게 한다. 또한 이동물체 영역이 겹쳐져 하나의 이동물체 영역으로 인식될 경우에는 인식된 하나의 물체 영역에 대해서만 식별이 가능하고, 식별된 영역을 추적 할 수 있다. 이때, 식별되지 못한 이동물체 영역의 위치를 추정하기 위한 방법 으로 로부터 현재 하나로 식별된 이동물체 영역의 위치 와의 이동 거리 정보를 이용한다. 본 연구에서는 의 위치가 이동하는 거리만큼 도 동일하게 이동한다고 가정하였으며, 이 가정은 이동물체 영역이 다시 분리될 때 까지 지속된다. 그 다음 이동물체 영역이 분리 되었을 때 분리된 두 영역은 다시 식별된다. 이때, 식별된 이동물체의 위치 와 와의 관계는 식 19를 통해 판단하며, 거리 오차 Error가 사용자가 정의한 거리 δ2보다 작을 경우 식별된 이동물체 영역은 겹쳐졌던 물체로 추정되어 의 위치는 식별된 이동물체 영역의 위치로 갱신된다.
상기와 같이 제안한 방법을 통해 인식된 이동물체 영역의 식별에 실패하거나, 두 이동물체의 영역이 겹쳐지고 분리되는 과정에서 식별되지 못한 이동 물체 영역의 위치를 추정함으로써 지속적인 추적이 가능함을 알 수 있다. 마지막으로 추적중인 이동물체가 입력 영상에서 사용자가 사전에 정의한 시간 변수 T만큼 감지되지 않을 경우 해당 이동물체 영역의 식별된 정보와 영상에 머물렀던 시간을 데이터베이스에 저장하고, 이동물체가 사라졌다고 판단한다.
4. 실험 및 결과 고찰
본 논문에서 제안한 Optical flow와 EMD 알고리즘을 이용한 다수의 이동물체 식별과 Kalman 필터를 이용한 추적 알고리즘은 이동물체의 식별 및 추적 기술의 향상을 위해 개발되었으며, 영상에서의 이동물체 영역의 식별과 다수의 이동물체 영역이 겹쳐질 경우에 대하여 실험하였다. 실험 환경은 i5-2500 3.3GHz CPU, 4GB RAM의 PC에서 수행하였고, 640x480 픽셀, 초당 30 프레임의 웹 카메라를 사용하였다. 또한, 실험은 실내 환경에서 진행되었기 때문에 이동물체는 3명으로 하였다.
그림 10는 각 입력 영상에서 이동물체를 식별하고, 두 이동물체 영역이 겹칠 때와 분리될 경우의 이동물체 추적 결과를 frame 별로 도시한 그림이다. 여기서, 그림 10(a)와 (b), (c)는 각각의 이동물체 영역 Mo1 , Mo2 , Mo3에 대하여 식별한 결과를 도시한 그림이며, 그림 10(d)~(j)는 다수의 이동 물체 영역이 겹쳐지고 나서 다시 분리되는 과정에도 추적에 성공한 결과를 도시한 그림이다.
그림 10이동물체의 위치 및 이동거리 정보와 칼만필터를 이용한 추적 Fig. 10 Tracking the moving object using position and movement distance information with Kalman filter
그림 10에서 알 수 있듯이 제안한 방법은 색상 정보 소실로 인한 이동물체 식별에 실패하거나, 겹쳐진 경우에도 지속적인 추적이 가능함을 증명한다.
그림 11은 같은 입력 영상에서 이동물체 Mo1 , Mo2 , Mo3의 추적 위치 오차율에 관한 실험 결과이다. 그림 11의 그래프는 각 Frame별로 이동물체 영역의 실측 위치 GT(Ground Truth)와 칼만필터, 그리고 본 논문에서 제안한 방법을 이용한 추적 오차율을 나타낸다. 여기서, 각각의 원은 Mo1과 Mo2가 겹쳐진 경우, 사각형은 Mo1과 Mo3이 겹쳐진 경우, 그리고 삼각형으로 표시된 영역은 Mo2와 Mo3 영역이 서로 겹쳐진 경우를 의미한다. 겹쳐진 경우에 대해 칼만필터를 이용한 방법과 제안한 방법을 이용한 오차율을 비교해 보면, 제안한 방법이 Mo1 ~ Mo3까지 각각 2.04%, 4.54%, 5.56% 낮아졌음을 확인하였다.
그림 11이동 물체 추적 오차 결과 Fig. 11 Tracking error of moving objects
다음 표 1은 본 실험에 대한 이동물체 영역의 추적 오차율을 나타낸다. 표 1에 의하면 기존 순수 칼만 필터에 의한 추적 보다 본 연구에서 제안한 알고리즘에 의한 추적 오차가 더 적음을 알 수 있다.
표 1누적된 추적 오차율 Table 1 Cumulative tracking error rate
5. 결 론
본 논문에서는 optical flow와 EMD 알고리즘을 이용한 다수의 이동물체 식별과 Kalman 필터를 이용한 추적 알고리즘을 제안하였다. 제안한 시스템은 고정된 카메라에 입력된 영상에서 추출된 이동물체의 인식을 위해 라벨링 기법을 이용하였으며, 인식된 이동물체의 식별을 위해 optical Flow 알고리즘과 이동물체의 색상 기반 히스토그램 정보를 EMD 알고리즘에 적용하는 방법을 제안하였다. 그 다음 식별된 이동물체 영역의 위치를 추적하기 위해 칼만필터와 이동물체의 위치 및 이동거리 정보를 이용한 알고리즘을 제안하였다. 제안된 방법은 이동물체 영역이 겹쳤을 경우에도 이동물체의 추적율을 높이고, 겹침 현상에도 지속적인 추적이 가능한 시스템을 구현하였으며, 여러 실험을 통해 제안된 알고리즘에 대한 응용 가능성을 증명하였다.
향후 연구로는 같은 색상을 가진 움직임 이동물체가 추출 될 경우 인식률이 떨어지는 단점을 극복하고 다수의 카메라를 이용한 침입자 추적 알고리즘 연구를 통한 보다 진보된 지능형 감시 시스템을 구축할 계획이다.