1. 서 론
카메라에서 촬영한 영상데이터를 이용하는 비전항법시스템은 계산량이 많고, 조도의 영향을 받는 단점이 있지만, 소모전력이 적으며 가격이 저렴한 장점 때문에 소형/무인 항공기, 차량, 이동 로봇 등에 많이 사용되고 있다[1-5]. 특히, 최근 디지털 영상기술과 컴퓨터 처리 기술의 발달에 따라 영상을 이용한 실시간 항법이 가능하게 되었다[4-5]. 비전항법시스템을 항법해를 계산하는 방식에 따라 크게 맵(map) 기반 방식, 랜드마크 기반 방식, 비주얼 오도메트리(visual odometry) 방식으로 구분할 수 있다[4-6]. 맵 기반 방식은 비전센서로부터 측정한 영상데이터와 시스템 혹은 데이터베이스의 맵을 비교하여 항법해를 계산하는 방식으로 가장 단순한 형태라고 할 수 있다. 랜드마크 기반의 방식은 이미 알고 있는 랜드마크의 측정치로부터 항법해를 구하며 단일 카메라로부터 랜드마크의 시선각을 측정하여 항법해를 계산하는 방법과 스테레오 카메라로부터 랜드마크의 거리 측정 치를 기반으로 하는 방법으로 구분할 수 있다. 센서의 연속적인 영상을 이용하여 항법을 수행하는 비주얼 오도메트리 방식은 앞의 두 경우와 달리 추측항법의 기법을 사용한다. 이중, 랜드마크 기반 방식은 알고리즘이 간단하고 장시간 항 법에도 오차의 누적이 없는 장점이 있다[6].
항법시스템의 정확도는 항체가 있는 장소 혹은 시간에 따라 달라질 수 있다. DOP(Dilution of Precision)는 항법시스 템에서 항법오차에 대한 측정오차의 증폭도를 나타내는데, 항체와 측정 대상의 기하학적 위치 관계에 따라 달라진다 [7]. 2차원의 시선각 측정 기반 비전항법시스템에서 랜드마크와 항체의 기하학적 관계가 항법오차에 미치는 영향은 [10]에서 볼 수 있다. TOA(Time of Arrival) 기반의 항법시스템인 GPS(Global Positioning System)는 수신기와 위성의 배치에 따라 항법오차가 달라지며, 이에 대한 영향을 GDOP(Geometric DOP)로 나타낼 수 있다. GPS에서 4개의 위성인 경우에 대하여 수신기를 중심으로 사면체를 구성할때 GDOP는 체적에 반비례하는 것으로 알려져 있다[7-9]. Dempster는 2차원의 AOA(Angle of Arrival) 항법시스템에서 기지국들과 항체 사이의 위치가 항법오차에 미치는 영향을 분석한 바 있다[11].
본 논문에서는 랜드마크 기반의 비전항법시스템에서 랜드마크의 기하학적 배치가 3차원 위치오차, 자세오차에 미치는 영향을 살피고자 한다. 이를 위하여 랜드마크의 초점면 측정오차와 항법오차의 관계를 도출하였으며 위치오차와 자세 오차로 구분하여 DOP로 표현하였다. 또한 항체와 랜드마크의 기하학적 배치 즉, 랜드마크의 거리와 랜드마크의 수평 시선각과 수직 시선각을 변경하면서 이에 대하여 DOP 값의 변화를 살펴보았다.
2절에서는 랜드마크의 초점면 측정값을 이용하여 항법해를 결정하는 방법을 기술하고 3절에서는 항법방정식으로부터 DOP를 도출하였다. 4절에서는 여러 가지의 랜드마크 배치에 대하여 DOP 변화를 살펴보았다. 5절에서 논문의 결론을 정리하였다.
2. 랜드마크의 카메라 초점면 측정값을 이용한 3차원 항법해 결정
랜드마크 기반 비전항법시스템은 카메라 초점면에서의 랜드마크 측정값과 이미 알고 있는 랜드마크의 위치정보를 이용하여 항법해를 계산한다[12-14]. 랜드마크 기반 비전항법 시스템은 그림 1과 같이 항체, 카메라, 항법컴퓨터, 랜드마크로 이루어져 있다. 항체에 설치된 카메라는 항법컴퓨터에 디지털 영상데이터를 제공하고, 항법컴퓨터는 영상데이터를 수신하고 전처리한 후 데이터베이스의 랜드마크 정보를 이용하여 랜드마크를 검출하고 인식한다. 항법컴퓨터는 화상 좌표계(image frame)에서 측정한 랜드마크 좌표를 카메라좌표계(camera frame), 동체좌표계(body frame)로 변환하여 항법좌표계(navigation frame)에 대한 항법해를 계산하고 출력장치에서 결과를 출력한다. 일반적으로 카메라의 화각 (Field-Of-View)이 크면 하나의 영상에서 많은 랜드마크를 확보할 수 있는 장점이 있으나 카메라의 초점거리가 작아져 상대적으로 투영된 랜드마크의 해상도가 낮아질 수 있다.
그림 1랜드마크 기반 비전항법시스템 Fig. 1 Landmark-based vision navigation system
그림 2는 랜드마크가 카메라의 초점면으로 투영되는 과정을 보여준다. 비전센서의 초점면은 광축상, 즉 카메라좌표계에서의 𝑥축상에서 원점으로부터 초점거리 f만큼 떨어진 위치에 직각으로 정렬되어 있다. 그림에서와 같이 카메라좌표계에서 에 위치하는 랜드마크는 화상좌표계의 에 투영되며, 이는 카메라좌표계의 값 으로 변환할 수 있다. 아래의 식(1)은 랜드마크가 초점면에 투영될 때 측정값과 랜드마크의 좌표값간의 관계를 보여준다.
여기서 f는 카메라의 초점거리, 는 카메라좌표계에서의 i번째 랜드마크의 각축에 대한 위치이고, ui , vi는 카메 라좌표계에서 i번째 랜드마크의 y축, z축 측정값을 나타낸다.
그림 2랜드마크의 카메라 초점면 투영 Fig. 2 Landmark projection on camera focal plane
비전항법의 항법해는 미리 알고 있는 랜드마크 위치와 카메라좌표계에서 측정한 랜드마크에 대한 초점면상의 측정값 과의 관계로부터 구할 수 있다. 항체에 설치된 카메라는 카메라좌표계에서 랜드마크를 측정하므로 카메라좌표계와 동체좌표계, 그리고 동체좌표계와 항법좌표계간의 변환행렬이 필요하다. 카메라좌표계에서 측정한 랜드마크의 초점면 측정값을 이용한 3D 항법방정식은 식(2)와 같다.
여기서 첨자 n, b, c는 각각 항법좌표계, 동체좌표계, 카메라 좌표계를 의미하고,는 항법좌표계에서 구하고자 하는 항체의 위치이고, 는 항법좌표계에서 표현한 i번째 랜드마크의 위치이고, 이를 카메라좌표계에서 표현하면 가 된다. 는 카메라좌표계에서 표현한 랜드마크의 초점면 측정값이다. 또한 ki는 센서에 투영된 랜드마크의 거리와 실제 항체와 랜드마크의 거리의 비를 나타내는 변수이다. 와 는 각각 동체좌표계로부터 항법좌표계로, 그리고 카메라좌표계로부터 동체좌 표계로의 변환행렬을 의미한다. 카메라좌표계와 동체좌표계의 관계, 즉 항체에서 센서의 설치 위치와 자세를 정확히 알 고 있다면 는 직접 계산이 가능하다. 편의상 카메라좌표계는 동체좌표계와 일치한다고 할 때, 카메라좌표계로부터 항법좌표계의 변환행렬은 식(3)과 같다.
여기서 [α𝛽𝛾]T 는 항체의 자세, 즉, 롤각, 피치각, 요각을 나타내고 Sx와 Cx 는 각각 sinx와 cosx를 의미한다. 식(2)와 식(3)으로부터 구하고자 하는 항법해 변수가 6개이고 하나의 랜드마크에서 한 쌍의 측정값을 얻을 수 있으므로 항법해를 계산하기 위해서는 최소한 3개의 랜드마크 측정값이 필요하다는 것을 알 수 있다.
3. 랜드마크의 카메라 초점면 측정값을 이용한 3차원 항법해 결정
3.1 랜드마크의 초점면 투영 측정오차와 항법오차의 관계
그림 3은 랜드마크의 측정값으로부터 항법해를 결정하는 과정을 도식적으로 보여준다. 식(2)를 식(4)-식(5)와 같이 방향각(azimuth)에 관한 방정식과 앙각(elevation)에 관한 식으로 표현할 수 있다.
그림 3비전항법에서 3D 항법해의 결정 Fig. 3 Determination of 3D navigation solution in vision navigation
여기서 [x y z]T는 항체의 3차원 위치, [α𝛽𝛾]T는 항체의 자세로 α,𝛽와 𝛾는 각각 롤각, 피치각과 요각을 의미한다.
먼저 롤각이 0°일 때 초점면 측정오차와 항법오차의 관계식을 도출하고 나중에 0°가 아닐 때도 생각해 본다. 롤각이 0°이면, 식(4)와 식(5)는 다음과 같이 표현할 수 있다.
식(6)에서 , 로 두면 식(8)이 된다.
식(8)을 테일러급수 전개 후 2차항 이상을 소거하여 정리하면, 식(9)와 같이 표현할 수 있다.
식(9)를 정리하면 최종적으로 식(10)을 얻을 수 있다.
식(7)을 선형화 기준값을 중심으로 섭동시킨 형태로 표현하면 식(11)과 같다.
식(11)에서 식 전개의 편의를 위하여 다음 식(12), 식(13)을 정의하자.
식(11)을 𝛿𝜽i에 관한 식으로 정리하면 식(14)와 같이 쓸수 있다.
식(12)와 식(13)으로부터 𝛿𝜽i와 𝛿s를 다음과 같이 각각 측정오차와 항법오차에 관한 식으로 표현할 수 있다.
식(15)와 식(16)을 식(14)에 대입하면 최종적으로 다음과 같은 측정오차와 항법오차의 관계식을 얻을 수 있다.
식(10)과 식(17)의 관계식을 행렬로 표현하면 다음과 같다.
여기서, 𝛿mi=[𝛿ui 𝛿vi]T 는 측정오차 벡터를 나타내고, 𝛿 x=[𝛿x 𝛿y 𝛿z 𝛿α 𝛿𝛽 𝛿𝛾]T 는 항법오차 벡터를 의미한다. 또한 Ai와 Bi를 항체와 랜드마크간의 상대적인 위치로 표현하면 식(19)와 식(20)과 같다.
여기서 는 항체와 i번째 랜드마크간의 거리를 의미하고 는 항체와 i번째 랜드마크간의 수평각, 는 항체와 i번째 랜드마크간의 수직각을 의미한다.
그러면 롤각이 0°가 아닌 경우에 대하여 살펴보자. 식(6)-식(7)과 식(18)에 롤각 및 롤각오차를 반영하면 식(21)을 얻을 수 있다.
여기서, 는 측정벡터, 는 롤각에 대한 회전 변환행렬, δ는 회전변환에 대한 오차행렬로 식(22)와 식(23)과 같다.
따라서 3차원 비전항법에서 랜드마크의 초점면 측정오차와 항법오차의 관계식은 식(24)와 같이 표현할 수 있다.
3.2 랜드마크 기반 비전항법시스템에서 DOP
측정치가 n개이면, 식(24)와 같은 식이 n개 얻어지며, 이를 행렬로 식(25)와 같이 표현할 수 있다.
비전항법에서 비전센서의 초점면에 투영된 랜드마크를 측정할 때, 환산계수오차, 광학계오차, 프로세싱오차, 백색잡음등의 오차가 발생한다[15-16]. 랜드마크 기반의 항법시스템에서 DOP는 다음 식(26)과 같이 표현할 수 있다.
여기서 𝜎m 은 초점면 측정오차의 표준편차, 𝜎x , 𝜎y , 𝜎z는 각 축에 대한 위치오차의 표준편차, 𝜎𝑎 , 𝜎𝛽 , 𝜎𝛾는 각 축에 대한 자세오차 의 표준편차를 의미한다. 따라서, 랜드마크 기반의 비전항법시스 템에서 DOP는 식(27)과 같다.
식(27)의 DOP를 식(28)과 식(29)와 같이 PDOP (Position DOP)와 ADOP (Attitude DOP)로 나누어 표현할 수 있다. 이때, PDOP는 위치오차에 대한 관계, ADOP는 자세오차에 대한 관계를 나타낸다.
여기서 PDOP와 ADOP는 식(30)과 식(31)과 같다.
[주1] : 식(24)에서 랜드마크의 초점면 측정값을 시선각 측정치로 변환하고 2D 위치 (x,y)와 방향각 𝛾만을 생각하여 측정오차와 항법오차의 관계식을 도출하면 아래의 식(32)와 같으며 이는 [10]에서 보인 2차원 항법에서의 관계식과 일치함을 알 수 있다. 즉, 본 논문의 주요결과인 식(24)는 2차원 항법시스템에서 랜드마크의 기하학적 배치에 대한 항법오차에의 영향에 관한 결과[10]의 3차원으로의 확장임을 알 수 있다.
[주2] : 2차원 AOA 시스템에서의 DOP를 보인 [11]과는 달리, 비전항법에서는 동체에 장착한 센서의 좌표계인 카메라좌표계에서 대해서 랜드마크를 측정하는 반면 AOA 항법 시스템은 기준좌표계인 항법좌표계에 대해 측정값을 얻는다. 따라서 비전항법의 항법해는 항체의 위치와 자세를 모두 포함하지만, AOA 시스템은 항체의 위치만을 포함한다. 비전항법시스템의 DOP를 AOA 측정치 기반 항법시스템의 DOP와 비교해보면, 측정오차와 위치오차와의 관계 외에 추가적으로 측정오차와 자세오차와의 관계도 포함하고 있음을 알 수 있다.
4. 랜드마크 배치에 대한 DOP 관찰
랜드마크 기반의 비전항법시스템에서 랜드마크의 배치가 3차원 위치오차, 자세오차에 미치는 영향을 살피기 위해 여러 경우의 랜드마크 배치에 대하여 DOP 값을 살펴보았다.
DOP 관찰을 위해 본 논문에서는 그림 4와 같이 항체를 기 준으로 3개의 랜드마크를 배치하였다. 항체는 에 위치하고 (𝑎𝛽 𝛾)의 롤각, 피치각, 요각의 자세를 가지며, 각 랜드마크 LMi(i=1,2,3)는 항체로부터 각각 거리 ri(i=1,2,3) 만큼 떨어져 있고, 항체와의 랜드마크와의 수평각은 ψi(i=1,2,3), 수직각은 𝜽i(i=1,2,3)를 갖는다.
그림 4DOP 관찰을 위한 랜드마크의 배치 Fig. 4 Landmarks placement for 3D DOP observation
먼저, 항체와 랜드마크의 거리에 따른 DOP 값을 관찰하였는데, 항체의 자세를 (𝑎,𝛽, 𝛾)=(0°,0°,0°)로 두고, 항체와 각 랜드마크의 시선각을 (ψ1,𝜽1) =(45°,45°), (ψ2,𝜽2)=(0°,0°),(ψ3,𝜽3)=(-450°, 450°)로 두었다. 그리고 항체와 각 랜드마크간의 거리r1=r2=r3=r을 10m로부터 1000m까지 변경하면 서 DOP를 관찰하였다. 그림 5는 거리에 따른 DOP 계산 결과를 보여준다. 그림에서 항체와 랜드마크의 거리가 멀어질수록 PDOP는 증가함을 알 수 있다. 반면 ADOP는 거리에 무관함을 알 수 있다. 이는 항체로부터 가까운 랜드마크를 선택하거나 항체에 가깝게 랜드마크를 배치하면 위치오차를 줄일 수 있음을 의미한다.
그림 5거리 r에 대한 DOP Fig. 5 DOP for range r
두 번째로, 항체와 랜드마크의 수평각에 따른 DOP 값을 관 찰하기 위해 .r1=r2 , .r3를 100m로 고정하고, (ψ1,𝜽1) =(ψ,45°), (ψ2,𝜽2) =(0°,0°)로 설정한 후 ψ를 변화 시키면서 DOP를 관찰하였다. 이 경우 카메라의 화각이 180 도보다 작으므로 ψ를 0도부터 90도까지만 변화시켰다. 그림 6은 ψ에 따른 DOP 계산 결과를 보여준다. 결과로부터 ψ가 커질수록, 즉 랜드마크간의 사이각이 커질수록 PDOP와 ADOP가 감소하는 것을 알 수 있다.
그림 6ψ에 대한 DOP Fig. 6 DOP for ψ
세 번째는 항체와의 거리 r1 , r2 , r3은 100m로 일정하게 두고, (ψ1,𝜽1)=(45°,𝜽°), (ψ2,𝜽2)=(0°,0;°), (ψ3,𝜽3)=(45°,-𝜽°) 에서 𝜽를 0도에서 90도까지 변화시키면서 DOP를 관찰하였다. 그림 7은 𝜽에 따른 DOP 계산 결과를 보여준다. 결과로 부터 𝜽가 커질수록 PDOP와 ADOP가 작아져 더 높은 항법 정확도를 기대할 수 있음을 보여준다.
위에서 여러 경우의 랜드마크 배치에 대하여 3차원 위치오차, 자세오차에 대한 DOP를 관찰하였다. DOP 관찰을 통하여 랜드마크의 사이각이 작을수록 위치오차 및 자세오차가 커짐을 알 수 있었고, 항체와 랜드마크의 거리가 멀어질수록 위치오차는 커지지만, 자세오차는 랜드마크의 거리와는 관계가 없음을 알 수 있었다.
[주3] : 식(24)에서 카메라의 초점거리가 항법오차에 영향을 미친다는 것을 알 수 있으며, 따라서 이러한 특성을 고려하여 시스템을 설계할 수 있다. 항체와의 거리 r1 , r2 , r3은 100m, (ψ1,𝜽1)=(45°,45°), (ψ2,𝜽2)=(0°,0°), (ψ3,𝜽3)=(45°,-45°)로 일정하게 두고 f를 1mm에서 100mm까지 변화시키면서 DOP 를 관찰하면 그림 8과 같이 f에 대한 DOP를 얻을 수 있으며 결과로부터 f가 커질수록 PDOP와 ADOP가 작아짐을 알 수 있다. 그러나 초점거리가 클수록 상대적으로 카메라의 화각이 작아져 하나의 영상에서 여러 랜드마크를 확보하는데 어려움 이 있을 수 있으므로 목적이나 환경을 고려하여 카메라의 초점거리를 결정해야할 것이다.
그림 7𝜽에 대한 DOP Fig. 7 DOP for 𝜽
그림 8초점거리 f에 대한 DOP Fig. 8 DOP for focal length f
5. 결 론
본 논문에서는 랜드마크 기반의 비전항법시스템에서 랜드마크의 기하학적 배치가 3차원 항법오차에 미치는 영향을 검토하였다. 이를 위해 우선 비전항법시스템에서 랜드마크가 투영된 초점면에서의 측정오차에 대한 DOP를 도출한후, 여러 가지 랜드마크 배치에 대하여 DOP 값의 변화를 관찰하였다. DOP 관찰 결과로부터 항체의 랜드마크의 거리를 가깝게, 랜드마크간의 사이각이 크게 랜드마크를 배치하거나 그러한 랜드마크를 선택하면 더 높은 항법정확도를 기대할 수 있음을 알 수 있었다. 본 논문의 결과는 랜드마크 기반의 3차원 비전항법시스템에서 인공 랜드마크를 배치하거나, 항법해 계산을 위하여 측정한 랜드마크의 조합을 결정할 때 매우 유용하게 이용할 수 있을 것으로 사료된다.
References
- U. Steinhoff, D. Omercevid and R. Perko, "How computer vision can help in outdoor positioning," Proceedings of AMI2007-LNCS 4794, pp. 124-141, 2007.
- G. B. Chatterji, P. K. Menon and B. Sridhar, "GPS/machine vision navigation systems for aircraft," IEEE Transactions on Aerospace and Electronic Systems, vol. 33, No. 3, pp. 1012-1025, July 1997. https://doi.org/10.1109/7.599326
- M. Bryson and S. Sukkarieh, "Building a robust implementation of bearing-only inertial SLAM for a UAV," Journal of Field Robotics, vol. 24, No. 1-2, pp. 113-143, February 2007. https://doi.org/10.1002/rob.20178
- M. J. Veth, "Navigation Using Images, A Survey of Techniques," Journal of The Institute of Navigation, vol. 58, No. 2, pp. 127-139, Summer 2011. https://doi.org/10.1002/j.2161-4296.2011.tb01796.x
- P. D. Groves, "The PNT Boom, Future Trends in Integrated Navigation," Inside GNSS, pp. 44-49, March/April, 2013.
- J. Borenstein. H. R. Everett and L. Feng, Where am I? Sensors and Methods for Mobile Robot Positioning, The University of Michigan, pp. 173-206, 1996.
- R. B. Langley, "Dilution of Precision," GPS World, pp. 52-59, May, 1999.
- E. D. Kaplan and C. J. Hegarty, Understanding GPS Principles and Applications, 2nd Edition, Boston: Artech House, pp. 322-328, 2006.
- G. M. Siouris, Aerospace Avionics System-A Modern Synthesis, San Diego: Academic Press, pp. 269-374, 1993.
- Y. S. Kim, H. Ji and D.-H. Hwang, "Two-dimensional navigation error for geometry of landmark in line-of-sight measurement based vision navigation system," The Transactions of the Korean Institute of Electrical Engineers (in Korean), vol. 61, No. 3, pp. 479-484, March 2012. https://doi.org/10.5370/KIEE.2012.61.3.479
- A. G. Demster, "Dilution of precision in angle-of-arrival positioning systems," Electronics Letters, vol. 42, No. 5, pp.291-292, March 2006. https://doi.org/10.1049/el:20064410
- C. J. Cohen and F. V. Koss, "A comprehensive study of three object triangulation," Proceedings of the 1993 SPIE Conference on Mobile Robots, pp. 95-106, November 1993.
- S. K. Yeluri, Outdoor Localization Technique Using Landmarks to Determine Position and Orientation, Master's thesis, University of Florida, 2003.
- E. Krotkov, "Mobile robot localization using a single image," Proceedings of IEEE International Conference on Robotics and Automation, pp. 978-983, April 1991.
- J. Y. Tsai, "A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses," IEEE Journal of Robotics and Automation, vol. RA-3, No. 4, pp. 323-344, August 1987. https://doi.org/10.1109/JRA.1987.1087109
- A. Kaehler and G. Bradski, Learning OpenCV (in Korean), 2nd Edition, O'Reilly Media, pp. 495-538, 2008.