Force Feedback System of Telepresence Robot for Remote Operation

텔레프레전스 로봇의 원격 조작을 위한 포스 피드백 시스템

Abstract

This paper proposes a force feedback system of telepresence robot for remote operation. The ultrasonic sensors attached at the robot detect the obstacles, and generate the force to the operation joystick. In order to consider the network delay, we developed the fuzzy control system using ultrasonic data and robot speed. The method to calculate the force vector from the ultrasonic data is also presented to operate the robot more accurately. The simulation and experimental results are presented to verify the safe and accurate operation of the proposed system.

1. 서 론

텔레프레전스 로봇(telepresence robot)이란 공간적으로 떨어져 있는 장소를 원격 사용자가 경험할 수 있도록 구성되어 있는 로봇을 말한다. 텔레프레전스 로봇을 통하여 사용자가 현장에 가지 않아도 간접적으로 경험할 수 있다는 장점이 있어 병원 또는 교육용으로 사용되고 있으며[1] 또한 텔레프레전스 로봇은 화재 감지 및 침입 탐지에도 사용되고 있다[2].

포스 피드백(force feedback)이란 기구를 조작하는 측에 조작 결과를 힘의 정보로 되돌려 보내는 기능을 말한다. 포스 피드백은 숫자로 이루어진 값을 사용자에게 힘으로 변환해 준다는 장점이 있으며 이러한 장점을 이용하여 현재 전동 휠체어 또는 육아용 보행기에 적용되고 있다[3]. 하지만 이러한 포스 피드백 시스템은 상황에 따라 정확하고도 즉각적인 반응이 동반되어야 하며 위의 조건을 만족하지 못할 시엔 심각한 오류를 발생시킬 수 있다. 또한 포스 피드백 시스템을 적용하기 위하여 전용 포스 피드백 장치를 제작하는 것은 비용적인 측면에서 큰 부담이 된다. 본 논문에서는 위와 같은 문제점을 인지하고 상용화된 조이스틱에 포스 피드백을 구현하여 원격 사용자에게 안전성이 보장 된 텔레프레전스 로봇 제어 방법을 제안한다.

포스 피드백 시스템에 관한 기존 연구를 보면 초음파 센서의 값을 이용하여 주변 환경의 상황에 맞는 포스 피드백을 출력하는 방법이 있다. Ildar 등[4,5]이 제안한 방법은 초음파 센서를 이용하여 거리를 측정한 후 그에 반비례하는 포스 피드백을 출력하는 방법을 제안하였다. Park 등[6]이 제안한 방법은 초음파 값을 이용하여 전방과 측방의 장애물을 감지한 후 장애물과 로봇 사이의 거리에 따라 로봇의 현재 상태를 정의하게 되며, 그 후에 초음파 센서 값에 따라 정해진 상태 변환 테이블을 따르게 된다. 이후에 소속된 상태 테이블에 따라 상황에 맞게 정의된 포스 피드백을 출력하게 된다. Fattouh 등[7]은 초음파 센서의 값을 입력받아 정해진 수식에 대입하여 포스 피드백의 방향과 크기를 계산하며, 계산된 포스 피드백의 방향에 장애물의 유무를 확인한 후 없을시에 포스 피드백을 원격 사용자에게 전달한다. Xue 등[8]은 기존의 방법에 퍼지 제어를 추가하여 초음파 센서 값에 따라 적절한 포스 피드백을 계산하여 원격 사용자에게 전달하였다. 위의 방법들은 초음파 센서와 퍼지제어를 이용하여 원격 사용자에게 포스 피드백을 출력할 수 있다는 장점이 있지만 원격 조작 시 발생하는 통신간의 시간 지연에 취약하다는 문제점이 있다. Takemoto 등[9]과 Ko 등[10]은 포스 피드백 시스템을 구현하기 위하여 포스 피드백 조이스틱을 제작한 후에 장애물이 있을 때 포스 피드백의 출력을 실험하였다. 위의 방법은 포스 피드백 장치를 제작하는 것은 비용과 시간적인 측면에서 단점이 있다.

본 논문은 로봇과 원격 사용자간 통신 시간 지연의 문제점을 개선하기 위하여 초음파 센서 값뿐만 아니라 로봇의 현재 이동속력 값을 고려하며 입력 받은 후 두 개의 데이터를 퍼지제어의 입력 변수로 사용하여 포스 피드백을 생성한다. 또한 초음파 센서 값으로부터 포스 벡터를 보다 정확하게 계산하는 방법을 새로 이 제시하며, 결과적으로 로봇을 보다 정확하고 안전하게 조정할 수 있음을 실험으로 입증한다.

 

2. 포스피드백 시스템

2.1 텔레프레전스 시스템

본 논문에서서 실험에 이용한 텔레프레전스 로봇의 원격 제어 모습은 그림 1과 같으며 구성은 IP 카메라, 4개의 메카넘 휠, 모니터, 마이크, 스피커와 주변 장애물을 감지하기 위한 초음파 센서, 절대 위치를 인식하기 위한 스타게이져로 구성 되어 있고, 원격 제어부의 구성은 조이스틱과 IP 카메라, 모니터, 마이크로 구성되어 있다.

그림 1로봇을 원격 제어하는 모습 Fig. 1 Remote control to form a robot

본 논문에서는 공유기와 공유기간의 WDS(Wireless Distribution System)을 이용하여 텔레프레전스 로봇에 무선 네트워크 통신을 가능하게 하여 서버와 클라이언트 간 IP 카메라를 통해 서로 간 텔레프레전스를 가능하게 한다. 로봇과 원격 제어부간 무선 네트워크 통신이 시작되면 사용자가 조이스틱을 이용하여 텔레프레전스 로봇에게 X축, Y축, 회전에 대하여 명령을 내릴 수 있고 IP카메라에 팬/틸트 명령과 줌인 줌아웃 명령을 내릴 수가 있게 된다. 이동로봇에선 사용자가 주는 명령을 내부적으로 처리하여 현재 이동로봇에 맞게 변환한 후 수행하게 된다.

이동 로봇을 원격 제어할 때 사용자가 카메라로 인식하지 못한 장애물이나 돌발 상황 및 조작 미숙으로 인한 충돌을 방지하기 위하여 이동로봇의 각 면에 n개씩 총 4*n개의 초음파 센서를 장착하여 실시간으로 장애물을 감지하며 일정 범위 이내로 장애물이 발견 되었을 시 즉시 이동 로봇의 움직임을 제어하여 충돌을 방지한다[11,12].

기존의 텔레프레전스 시스템은 로봇과 원격 제어부 간에 TCP/IP통신을 이용해 연결되어지며 원격 제어부측에서 조이스틱을 통해 텔레프레전스 로봇에 이동 명령을 주게 된다. 위와 같은 텔레프레전스 시스템에서의 문제점은 원격 사용자가 TCP/IP통신을 통하여 로봇에게 이동 명령을 전송할 시에 시간 지연이 발생하여 예상치 못한 문제가 발생할 수 있다. 특히 텔레프레전스 로봇이 고속 주행을 하고 있는 상태라면 통신환경의 특성으로 인한 시간 지연은 현재 로봇의 진행 방향에 있는 장애물과 충돌하게 될 위험성을 증가시키게 된다. 따라서 본 논문에서는 로봇의 현재 이동속력을 고려하여 텔레프레전스 로봇과 원격 사용자간의 통신 시간 지연으로 발생하는 문제를 해결하고 원격 사용자에게 포스 피드백을 전달하여 원격 사용자가 로봇의 주변 상황에 즉각적인 대처를 할 수 있게 해준다.

2.2 포스 피드백 시스템

본 논문에서는 사용자가 원격으로 이동 로봇을 제어할 때 장애물과의 충돌을 방지하기 위해 포스 피드백 시스템을 적용하였다. 사용자는 원격으로 로봇을 제어할 때 로봇에 장착되어 있는 카메라에 의존하여 로봇을 제어하게 되는데 로봇에 장착되어 있는 카메라만으로는 돌발 상황과 카메라의 사각지대, 통신간의 시간지연 등의 문제점을 원격 사용자가 모든 상황을 판단하여 로봇 제어를 하는 것은 무리가 있다. 따라서 로봇의 각 면에 초음파 센서를 장착하여 실시간으로 주변의 장애물 값을 입력 받은 후 로봇의 속력 값과 함께 이용하여 원격 사용자가 조작하고 있는 조이스틱에 포스 피드백을 전달한다. 이렇게 전달된 포스 피드백은 원격 사용자가 인지하지 못한 로봇의 주변 환경에 대한 정보를 제공하여 로봇 주변의 장애물과 돌발 상황에 즉각적인 대처를 할 수 있도록 도와준다.

그림 2은 포스 피드백 시스템의 동작 원리이다. ud,i는 초음파 센서 값을 나타낸다. 여기서 d∈{f, b, l, r}는 초음파 센서의 탐지방향을 나타내며 각각 전, 후, 좌, 우를 나타낸다. 또한 p∈{1, 2, …, c, …, n}는 초음파 센서의 위치를 나타낸다. 순서는 왼쪽부터 오른쪽 순서이며 c는 중간을 의미한다. 이며 vx는 로봇의 X축 속력, vy는 로봇의 Y축 속력, fx는 X축에 관한 포스 피드백 크기, fy는 Y축에 관한 포스 피드백 크기, jx는 조이스틱의 X축 값이며 jy는 조이스틱의 Y축 값이다. 초음파 센서 값과 로봇의 속력 값이 원격 제어부에 전송이 되면 원격 제어부에서는 퍼지 제어를 이용하여 포스 피드백 값을 생성하며 이를 조이스틱에 전달하게 된다.

그림 2포스 피드백 시스템 Fig. 2 Force feedback system

 

3. 포스 피드백 제어기

본 논문에서는 원격 조작 시 발생할 수 있는 사고를 방지하기 위하여 사용자에게 텔레프레전스 로봇의 주변 환경에 대한 정보를 전달하기 위한 방법으로 포스 피드백 시스템을 이용하였다. 포스 피드백을 생성하기 위해서 퍼지제어를 적용하게 되는데 여기서 말하는 퍼지 제어란 로봇 시스템에서 적용하기 어려운 애매한 표현을 구조적으로 정의하여 시스템에 명확하게 전달하는 제어 시스템이다. 또한 퍼지제어를 적용하여 생성된 포스 피드백은 본 논문에서 제안하는 포스 피드백 각도 제어 알고리즘을 이용하여 장애물의 위치에 따라 다양한 각도의 포스 피드백을 생성한다.

3.1 소속 함수 생성

퍼지 제어의 입력 변수로는 텔레프레전스 로봇과 원격 제어부간 통신 시간 지연을 고려하기 위하여 초음파 센서 값뿐만 아니라 로봇의 현재 이동속력을 사용하게 된다. 실험을 통하여 초음파 센서 값과 로봇의 이동속력간의 상관관계를 찾아내고 이를 통하여 소속 함수를 만든다.

초음파 센서를 이용하여 장애물과 로봇사이의 거리를 측정한 후 얻어진 값을 원격 제어부에 전송하게 되면 원격제어부에서는 전송받은 초음파 값을 로봇의 전, 후, 좌, 우 방향의 초음파 센서의 값을 각각 저장하게 된다. 또한 텔레프레전스 로봇의 현재 이동속력을 입력받은 후 포스 피드백의 방향과 크기를 구하기 위하여 각 방향의 초음파 센서의 값과 로봇의 이동속력 값을 입력변수로 하여 퍼지화를 하게 된다. 초음파 센서의 값에 대한 소속함수에서는 Closed, Normal, Far, Big Far라는 4가지의 그룹으로 분류하였다. μ는 소속도를 나타내며 td,n는 사용자가 임의로 지정할 수 있는 초음파 센서 값의 임계값이다. n∈{1, 2, 3, 4}은 각 그룹의 분류이다. 초음파 센서의 값에 대한 소속 함수는 식(1)와 같다.

로봇의 현재 이동속력에 대한 소속 함수에서는 Fast, Normal, Slow라는 3가지의 그룹으로 분류하였으며 va는 입력받은 로봇의 속력을 뜻하며 a∈{x, y}는 로봇 속력의 축을 나타낸다. μ는 소속도을 나타내고 tv,n는 사용자가 임의로 지정할 수 있는 로봇 속력의 임계값이다. 이동속력에 대한 소속 함수는 식(2)와 같다.

그림 3는 식 (2)와 (3)을 그래프로 나타낸 모습이다.

그림 3입력변수에 대한 소속 함수((a) 초음파 센서, (b) 로봇의 속력) Fig. 3 Membership functions for input variables ((a) ultrasonar sensor, (b) velocity of robot)

그림 4은 출력변수에 대한 소속 함수를 나타내며 tm,n은 사용 자가 임의로 지정할 수 있는 포스 피드백 크기 값이다.

그림 4출력변수에 대한 소속 함수 Fig. 4 Membership functions of the output variables

3.2 퍼지 제어 규칙 및 역퍼지화

퍼지화가 완료된 후에는 각 데이터별 소속 그룹의 소속도가 결정된 초음파 센서 값과 로봇의 이동속력을 표 1과 같이 정의된 12개의 퍼지 제어 규칙에 적용하여 역퍼지화를 하게 된다. 역퍼지화 방법으로는 무게 중심법(3)을 사용하였다. 여기서 fd,i는 해당 초음파의 포스 피드백의 크기 값을 뜻하며 mn는 n번째 제어 규칙의 포스 피드백의 출력 값을 나타내고 μn은 n번째 퍼지규칙의 소속도를 나타낸다. 또한 k는 퍼지 제어 규칙의 개수를 의미한다.

표 1포스 피드백 크기 값에 대한 퍼지 제어 규칙 Table 1 Fuzzy control rules for force feedback Size value

이렇게 해서 최종적으로 얻어진 fd,i는 식 (4)와 같은 방법으로 합성하여 fd를 생성한다.

3.3 포스 피드백의 방향 결정

기존의 논문들에서 생성한 포스 피드백의 방향을 보면 로봇에 장착되어 있는 초음파 센서 마다 각각 고유의 각도가 정해져 있어서 해당 초음파 센서에서 장애물을 감지했을 시 장애물을 감지한 초음파가 가지고 있는 고유 각도로 포스 피드백을 생성하게 된다. 이 방법은 포스 피드백 벡터의 방향을 쉽게 결정할 수 있지만 장애물의 위치에 따라 유연한 대처를 하기 어렵다는 단점이 있다. 본 논문은 위와 같은 문제점을 해결하기 위해 포스 피드백 각도 제어 알고리즘을 사용하였다.

퍼지 제어를 이용하여 모든 포스 피드백 크기가 결정 되면 조이스틱에 적용할 포스 피드백 방향을 결정한다.

포스 피드백의 각도를 결정하는 방법은 아래의 식(5)을 통하여 구하게 된다. fMAX는 포스 피드백 크기의 최대값을 의미한다.

퍼지 제어를 이용하여 모든 포스 피드백 크기가 결정 되면 조이스틱에 적용할 포스 피드백 방향을 결정한다.

포스 피드백의 각도를 결정하는 방법은 아래의 식(5)을 통하여 구하게 된다. fMAX는 포스 피드백 크기의 최대값을 의미한다.

이를 통해 얻어진 각도 θd와 앞서 구한 포스 피드백 크기를 조합하여 생성한 포스 피드백 벡터를 생성하고 조이스틱에 포스 피드백 벡터를 입력하기 위하여 식(6)와 같이 X축 성분과 Y축 성분으로 나눈 뒤 조이스틱에 입력하게 된다.

이렇게 해서 구해진 fd,x, fd,y의 X축 성분과 Y축 성분끼리 더 하여 최종적인 fx, fy를 구한다.

 

4. 실 험

본 논문에서 제안한 방법의 타당성을 검증하기 위하여 두 가지의 실험을 하였다. 첫 번째 실험은 제안한 알고리즘과 다른 논문에서 사용한 알고리즘의 비교를 통하여 제안한 알고리즘의 적합성을 증명하는 실험이며 두 번째 실험은 본 논문에서 제안한 알고리즘을 실제 로봇에 적용한 후 고속 주행 시, 저속 주행 시 그리고 포스 피드백을 적용하지 않았을 시에 대한 비교 실험이다.

첫 번째 실험은 본 논문에서 제안한 포스 피드백 벡터의 적합성을 증명하기 위하여 기존에 다른 논문에서 제안한 포스 피드백 생성 알고리즘과 비교 실험을 하였다. 초음파 센서의 특성을 모델링 하여 시뮬레이터에 적용한 후 장애물이 이동로봇에 점점 가까이 접근했을 때 포스 피드백의 크기와 방향을 비교해 보는 실험이다. 초음파 센서만을 이용한 기존 포스 피드백 생성 방법인 거리 비례 방법[4]은 식(7)과 같이 표현 한다.

l는 초음파 센서의 값을 나타내며 K는 임의의 상수 값이다. 이득(gain)을 추가한 방법인 거리변화량 비례 방법[5]은 로봇과 장애물 사이의 거리 변화량을 고려한 이득을 추가한 방법이다. 방법은 식(8)과 같이 표현 한다.

Fp는 앞에서 거리 비례방법으로 구한 포스 피드백의 값이며 f(Δl)는 초음파 센서의 거리 변화에 따른 함수를 나타낸다. 함수 는 식(9)와 같다.

그림 5를 보면 제안한 알고리즘이 이득을 추가한 방법[5]보다 효과적으로 포스 피드백을 생성하는 것을 확인 할수 있었다. 이득을 추가한 방법의 그래프가 진동하는 이유는 이득을 계산할 때 이전 초음파 센서 값과 현재 초음파 센서 값의 변화량을 바탕으로 이득을 계산하기 때문이다. 그림 6의 결과 그래프를 보면 본 논문에서 제안한 방법이 기존에 제안한 방법과 이득을 추가한 방법[4,5]보다 실제 장애물과의 각도를 효과적으로 계산하여 오차율이 적다는 것을 확인할 수 있다.

그림 5포스 피드백 크기 변화 비교 Fig. 5 Force feedback size change compared

그림 6포스 피드백 각도와 오차율 비교 Fig. 6 Angle error rate compared with force feedback

두 번째 실험은 원격으로 로봇을 제어할 때 현재 로봇의 이동 속력을 고려하여 로봇과 원격 제어부 간에 발생하는 통신 시간 지연의 영향을 줄일 수 있다는 것을 확인하는 실험이다.

실험 방법은 임의로 장애물을 설치한 후 원격 사용자가 로봇에 같은 속도의 이동 명령을 전송하여 정해진 목적지까지 도달하게 한다. 거리 비례 방법[4]과 본 논문에서 제안한 알고리즘을 각각 적용한 후 고속 주행 시의 로봇의 진행 경로를 확인하여 제안한 알고리즘이 고속 주행 시에도 안전하다는 것을 보여준다.

그림 7은 사용자가 로봇을 원격 제어 했을 때 로봇의 경로 궤적을 그림으로 나타낸 것이다. 고속 주행 시에는 로봇과 원격 제어부간 통신 딜레이로 인하여 로봇 주변 상황을 충분히 인지하지 못한 상태에서 로봇을 제어하기 때문에 장애물과 충돌 위험성 존재한다. 거리 비례 방법으로 고속 주행 시 로봇의 속도를 고려하지 않기 때문에 그림 7의 (a)와 같이 사용자에 장애물에 대응하기 전에 벽에 충돌하는 현상이 나타났다. 하지만 본 논문에서 제안한 알고리즘을 적용하게 되면 그림 7의 (b)와 같이 로봇이 장애물과 충돌하기 전에 포스 피드백을 생성하여 로봇과 장애물간에 충돌을 미리 방지 하는 것을 볼 수 있다.

그림 7원격 조작에 의한 로봇 경로 Fig. 7 The path of the robot by remote operation

 

5. 결 론

본 논문에서는 기존의 텔레프레전스 시스템에의 문제점인 로봇과 원격 제어부간 통신 지연을 해결하기 위하여 로봇에 장착된 초음파 센서의 값뿐만 아니라 로봇의 이동속력을 고려하는 방법을 제안 하였다. 장애물과의 충돌을 방지하기 위하여 퍼지 제어를 이용한 포스 피드백을 생성하고 좀 더 정확한 포스 피드백 벡터를 위해 추가적인 포스 피드백 각도 제어 알고리즘을 적용하여 로봇과 장애물간의 충돌을 효과적으로 방지할 수 있으며 비교 실험을 통하여 기존의 방법보다 더 좋은 성능을 보인다는 것을 확인할 수 있었다.

그러나 초음파 센서와 포스 피드백 조이스틱의 부정확성으로 인하여 실험 환경이 제한적인 문제점이 있었다. 따라서 차후 연구 방향으로는 초음파 센서보다 더욱 정확한 센서를 이용하여 장애물을 탐지하며 기존의 포스 피드백 조이스틱의 한계점을 고려한 추가 연구가 필요하다는 것을 확인하였다.