Research and Design of Smart Phone Sensor-based Context-aware System

스마트폰 센서 기반 상황인식 시스템 연구 및 설계

Abstract

This paper describes the design and implementation of situation recognition system with smart phone sensors, which recognizes the dangerous situation at anytime, anywhere through intuitive data analysis of the combination of the sensor. The implemented system consists of wearable heart rate sensor and acceleration sensor of smart phone instead of existing sensor that is attached to the body. It is also designed to get more effective results of recognition about the dangerous situation using merged displacement values of acceleration sensor and heart rate sensor which are measured in the process of recognizing dangerous situations. This research, in accordance with the wide penetration of smartphones, achieves the fast status determination through the combination of an acceleration sensor and a heart rate sensor applied to its own status perception algorithm for anyone who needs the stable perception of risk without the need for a separate provision of the sensor.

1. 서 론

이동통신의 발달과 아울러 모바일 기기의 다양한 변화 속에 언제 어디서나 데이터를 주고받을 수 있는 USN(Ubiquitous Sensor Network) 환경은 스마트기기의 센서를 통한 상황 인식에 대한 연구에도 많은 영향을 미치고 있다. 사용자의 생체적 신호와 주변의 환경 그리고 활동의 영역 등을 분석하여 여러 가지 상황에 맞는 정보를 얻어서 그 정보를 사용자의 이용목적에 맞게 활용할 수 있도록 하는 상황인식은 사용자의 환경에서 필요한 부분의 데이터를 추출하고 가공하여 필요한 상황정보를 도출하는 것에 있다[1].

스마트폰이 보급되면서 센싱 연구에도 변화가 이루어지고 있으며, 기존에는 별도의 센서 추가기기를 이용하여 신체에 부착하여 연구하는 것에서 최근에는 스마트폰을 통한 사용자의 자연스러운 휴대 방식과 자체의 센서의 변화를 이용하고 휴대성과 편리성을 고려하여 유의미한 결과를 도출하는 실험을 하게 되었다[2]. 스마트폰 센서 중 가속도센서와 근거리 통신이 가능한 웨어러블 심박센서를 이용하여 센서에서 발생하는 자료를 추출하여 위험상황을 인지할 수 있다.

가속도 센서는 이동하는 사물의 가속도나 충격의 세기를 측정하는 센서이다. 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 것으로, 물체의 운동 상태를 세밀하게 인지할 수 있다[3]. 스마트폰 가속도센서는 휴대성을 고려하여 사람의 이동이나 동작을 감지하고 걸음의 패턴이나 움직이는 상황 또는 정지 상황 등을 분석하여 그 흐름의 방향을 인지하는 방법으로 많이 활용되고 있다.

심박수(heart rate)는 단위시간당 심장박동의 수로 일반적으로 분당 맥의 수(beats per minute, bpm) 로 표현되는 숫자이다. 심박수는 신체적인 운동이나 잠자는 것처럼, 몸이 산소를 흡수하고 이산화탄소를 배출하는 것의 요구에 따라 다양해질 수 있다. 심박수의 측정은 의료전문가들이 진단과 의학적 상태를 검사하기 위해 사용된다. 이것은 또한 운동선수들이 그들의 훈련에서 최대한의 효율을 얻기 위해 심박수를 모니터링하기도 한다. 휴식기 심박수는 실험자가 깨어있는 상태에서 측정하여 일반적인 성인의 휴식기 심박수는 분당 60-100회이다. 휴식기 심박수가 분당 60회 이하이면 서맥(bradycardia)이고 분당 100회 이상이면 심박급속증(tachycardia)이라고 한다[4]. 최근 심박수 측정이 가능한 웨어러블 심박센서가 다양하게 제작되어 활용되고 있다.

본 논문에서는 스마트폰에 장착된 가속도센서와 심박센서를 활용하여 현장에서 일어날 수 있는 위험 상황을 인지할 수 있는 스마트폰 센서 기반 상황인식 시스템을 설계하였다. 몸에 부착하는 기존의 센서 방식을 사용하지 않고 이는 사용자의 휴대성이 높은 스마트폰으로 블루투스 환경에서 사용할 수 있는 웨어러블(Wearable) 심박센서를 활용하고, 스마트폰 가속도센서를 이용하여 여러 가지 센서 값의 변화를 측정하여 위험상황을 인지하고 유의미한 결과 값을 얻어내기 위해 심박센서와 융합하여 다양한 상황인식에 대한 실험을 수행하였다. 본 논문의 구성은 다음과 같다. 2장에서는 관련연구를 조사하여 본 연구의 개연성을 확인하였고, 3장에서는 상황인식 시스템에 대한 정의 및 설계, 그리고 4장에서 실험과 고찰을 통하여 위험상황에 대한 실험 및 분석을 수행하였고 5장에서 결론을 맺는다.

 

2. 관련연구

기존의 연구에서는 가속도센서의 정보를 이용하거나(정필성, 2013)[5], 스마트폰의 위치기반을 통한 데이터베이스 축적을 통해 시간과 이동 간의 관계를 분석하여 마케팅의 자료로 활용하는 연구(임재걸, 2012)[6], 스마트 디바이스 사용 여부에 따른 사용자의 이동상황 판결기법을 통한 상황의 인지 방법(홍민성, 2013)[7], 개인안전을 위한 영역이탈 검출에 관한 연구는 이동 상황에서 그 경로를 이탈했을 때 위기 상황을 인지(최재현, 2014)하는 법에 대한 연구[8] 등이 있다. 모두 상황인식에 대한 여러 가지 형태의 센서 데이터를 통한 인지 방법과 관련된 연구를 진행하였다(Table 1).

Table 1.Related researches

최근 발표된 상황인식 기술 및 적용사례와 향후 전망에서 상황인식 기술의 유형을 보면 상황정보를 수집하는 기술로 사용자 인터페이스와, 상황정보의 모델링(Context modeling), 마크업 기반, 그래픽 기반, 객체지향 기반, 로직 기반, 온톨로지(Ontology) 기반 모델로 각 6가지 기술적 내용을 반영하여 정리하였다. 센싱 데이터를 융합하여 보다 의미 있고 확률적인 방법이나 절차를 제공하며, 계층적 상황정보를 기반으로 지능적 추론 방법을 제공하는 기술인 상황정보 융합 및 추론 기술과 응용(Application)과 센서 사이에서 다양한 정보를 수집 가공하여 응용과 센서 사이의 중간자 역할을 하는 상황인식 미들웨어, 센서, 기기 및 객체와의 상호 작용을 지원하는 상황정보 교환 기술, 외부 서비스와 연계를 위한 표준화된 데이터 형식과 네트워크 프로토콜을 지원하는 기술인 상황 정보 서비스 기술, 센서로부터 정보를 상황 정보화 하는 위젯인 상황정보 툴킷 기술로 구성되어 있다[9].

상황 인식 컴퓨팅을 Fig. 1과 같이 ‘사용자의 작업과 관련 있는 적절한 정보 또는 서비스를 사용자에게 제공하는 과정에서「상황」을 사용하는 경우 이를 상황 인식 시스템’으로 정의하고 일반적으로 상황 정보는 사용자 상황, 물리적 환경 상황, 컴퓨팅 시스템 상황, 사용자-컴퓨터 상호작용 이력, 기타 미분류 상황 등으로 분류한다[10].

Fig. 1.Situational awareness system schematic diagram.

블루투스는 근거리 무선통신의 하나로 저전력 통신의 특징이 있다. 통신 거리는 10m 이내로 실내에서 무선통신이 가능하다. 크기가 작고 저렴한 가격과 저전력 소모로 소형 이동형기기에 탑재되어 근거리 무선 통신을 하는 규약 중 하나이다. 2.4Ghz의 주파수를 사용하고 무선 랜(802.11b/g)도 같은 주파수를 사용한다. 블루투스 4.1은 웨어러블 기기 활용증대에 대비한 업데이트로, 블루투스 연결을 통해 웨어러블 기기가 스마트폰의 주변장치 역할과 동시에 다른 장치와의 허브 역할도 할 수 있게 해준다. 또한 장래를 위해 사물 인터넷(Internet of Things)을 위한 새로운 IPV6 사용 표준도 포함된다[11].

 

3. 상황인식 시스템 구성

3.1 가속도센서 구성

사용자의 평상시 상황에 대한 기본 자료를 걷기상태와 운동 상태 그리고 위험 상태로 구분하여 스마트폰에 내장되어 있는 가속도 센서를 이용하여 센서 값에 대한 정보를 감지할 수 있는 알고리즘을 통하여 시스템을 설계하였다. 스마트폰의 휴대성과 센서 조합에 의한 분석 및 알림의 용이성을 통한 이 설계는 데이터 발생의 직관성과 상황인지와 그 전파에 용이성을 확보할 수 있으므로 인식시스템 구성이 쉬운점이 있다. 실험에서 위험 상태는 외부 충격으로 인해 반항하며 몸부림을 치는 상태를 가정하고, 상황에 대한 정보는 센서의 킷값을 임계치로 하여 가속도센서의 변화와 심박수의 변동을 측정하여 그 값을 기반으로 하는 임계 모델링을 통한 상황을 Fig. 2와 같이 구성하였다.

Fig. 2.Sensor-based context-aware smart phone configuration.

실험 방법은 Table 2와 같이 걷기 상태, 뛰기 상태, 위험 상태 세 가지의 경우를 비교 분석 하였고, 스마트폰을 뒷주머니에 넣고 이동하는 방법으로 실험을 진행하였다.

Table 2.Acceleration sensor measuring situation awareness

가속도센서는 각 배열의 값은 (m/s2) 단위이고, 센서는 X, Y, Z 좌표에 대해서 각각의 해당하는 값을 배열로 받아와서 처리하게 되어 있으며, Fig. 3과 같이 센서 축을 확인할 수 있다[12].

Fig. 3.Axis acceleration sensor X, Y, Z.

스마트폰 가속도센서를 활용하여 센싱 실험을 하기 위해 사용자의 이동 상황을 연출하여 걷기, 가벼운 뛰기 등의 상태 변화가 어떻게 반응하는지를 분석하고 평상시 상황과 위기상황 등을 구분할 수 있는 데이터를 확보하였다.

3.2 심박센서 구성

심박센서는 iriverOn M100를 이용하여 휴식기 및 평상시 심박수를 체크하여 이동 정보에 따른 데이터를 수집한다. 심박수 역시 임계값을 설정하여 센서의 복합적인 상황에 대한 경우의 수에 따라 위험 상황을 인지 검출한다.

iriverOn M100은 블루투스 3.0이 내장되어 있으며, 운영체제는 안드로이드 및 iOS가 지원된다. 주요 기능으로는 운동량 측정 기능, 속도측정 기능, 시간 측정 기능, 칼로리 소모 측정 기능, 실시간 위치 측정 기능, 고도 정보 측정 기능 및 심박수 측정 기능 등이 지원되며 음악듣기 및 전화 걸기 받기 기능을 동시에 수행할 수 있다[13]. 이 기능 중 심박수 측정 기능을 효율적으로 분석하여 가속도센서에서 발생하는 위기 상황에서 심박수의 변화량을 측정하고 임계영역을 초과하고 위험 노출에 대한 구간반복이 설정된 값을 반복할 경우 위험 상황을 알릴 수 있도록 설계하였다.

 

4. 실험 및 고찰

본 연구에서는 평상시 걸음을 걷거나 가벼운 운동 정도의 뛰기 등 연출하여 센서의 변위차를 분석하고 정상적인 걸음이나 뛰는 상황에서 외부 충격을 받을 경우를 가정하여 실험에 응용하였으며, 위험 상황은 외부 충격으로 몸부림을 치거나 반항을 하는 등의 동작으로 스마트폰을 뒷주머니에 넣은 상태로 실험자의 신체 움직임을 가정하여 실험하였다. 이동 중 여러 가지 상황들이 발생할 수 있지만 긴급을 요구할 상황일 경우 가속도센서와 심박센서의 변화는 일상생활에서 나타나는 현상과는 큰 차이가 있을 수 있기 때문이다. Table 3은 가속도 센서 및 심박센서 활용을 위하여 실험 대상자에 대한 표본자료이다.

Table 3.Acceleration sensor, heart rate sensor utilization data for subjects

4.1 가속도 센서 변위 차 분석

일반적으로 평상시 걷거나 뛰는 경우 가속도센서 X, Y, Z 값은 일정한 상하한 선의 표준편차 값을 얻을 수 있다. 하지만 일상적인 이동이나 운동 같은 상황이 아닌 안전하지 않은 상황이 언제라도 발생할 수 있다는 사실이다. 이동 중 안전하지 않은 상황이 발생할 경우 사용자의 신체적 변화가 스마트폰 센서의 반응으로 측정할 수 있고 또 측정된 값의 가중치가 일정 수준을 넘어 설 경우 상황변화를 감지할 수 있다. 상황변화의 정도가 상한(Upper limit)값의 경우 또는 평상 시 일어날 수 있는 측정치의 하한(Lower limit)값의 경우 그리고 극단적으로 일어날 수 있는 값(Extreme value)을 비교분석을 하였다. 각 축의 센서 값의 영역은 -19.6 ≧ Acc ≦ 19.6 안에서 분포하도록 설계하였다. 실험에 참가한 4명의 상황 그래프를 보면, 평상시 걷을 때 Fig. 4와 같이 평균 30회 분량을 상황 그래프에서 확인할 수 있으며 다시 30회 분량은 뛸 때 상황 그래프이며 나머지 30회 분량은 위험상황일 때 나타나는 그래프이다.

Fig. 4.Change distribution diagram of the experimental situation.

실험 대상자들의 그래프만 보았을 때 값에는 조금씩 차이가 있지만 걸을 때는 규칙적인 값의 변화를 볼 수 있고 뛸 때는 일정한 규칙에서 벋어나는 경우도 볼 수 있지만 위험 상황에서 나타나는 불규칙적이고 값의 변화가 크게 유지되는 것이 상대적으로 낮다는 것을 확인할 수 있다.

4.2 가속도 센서 실험 및 분석

스마트폰에 장착된 중력 가속기를 이용하여 실험 데이터를 얻기 위해 걷기와 뛰기 두 가지 패턴과 좌우 충격으로 인한 위험 상황 등 세 가지 조건으로 20초 단위로 각 50회를 실시하였다. 각 축의 방향성을 고려할 때 각 축의 방향이 우선 축을 가질 수 있으나 실험에서는 Y축이 하늘을 향하는 방향으로 뒷주머니에 넣고 실험을 실시하였다. 물론 사용자의 사용환경에 따라 다양한 각도에서 축이 형성될 수 있으나 각 축의 방향이 우선 축을 가지더라도 흔들림의 각은 어떤 축이 우선 축이 되더라도 두 가지 축은 하나의 다른 축 보다는 더 움직임이 강하기 때문에 실험에서 주축을 y축 하나로 정하여 데이터를 획득하였고, 가속도 센서의 X, Y, Z 축 값은 25fps(Frames per second)씩 생성되도록 설계하였다.

각 축에서 발생하는 자료를 실험에서는 Table 4와 같이 1초에 25개씩 만들어지는 값들을 평균 내어서 나열하였다. 여기서 발생 자료를 n으로 봤을 때 n값에서 n+1에 발생하는 다음 자료를 비교하기 보다는 25개씩 평균을 내었을 때 정확한 센서의 값이 도출된다고 본다.

Table 4.Accelerometer X, Y, Z axis mean value unit occurred 25fps

먼저 Table 4에 자료를 바탕으로 X값은 a(1≤a≤ n)번째 걷기(Walk) X값, 뛰기(Run) X값, 위험(Danger) X값을 각각 XW,a, XR,a, XD,a로 표기하고, Y축과 Z축의 표기도 X축과 같은 방법으로 표기하였다. n을 표본 {x1,x2,...,xn}에서 평균(m)과 표준편차(σ)를 식 (1)과 같이 얻을 수 있다. 그리고 다른 두 개의 축도 같은 방법으로 자료를 도출하였고 Table 5는 X축 각 상황에 대한 평균과 표준편차를 얻은 것이다.

Table 5.X-axis the average and standard deviation for each condition

가속도센서 X, Y, Z 각 축에서 발생한 걷기, 뛰기, 위험 등에 관한 센서 값을 상황 그래프에서 확인할 수 있다. Fig. 5는 X축 변화 그래프를 나타내고, Fig. 6은 Y축의 변화, Fig. 7은 Z축의 변화 그래프이며 각각의 걷기, 뛰기, 위험 환경의 그래프를 나타낸다.

Fig. 5.Changes Graph in the X-axis value.

Fig. 6.Changes Graph in the Y-axis value.

Fig. 7.Changes Graph in the Z-axis value.

4.3 가속도 센서 자료 추론에 의한 상황인지

주어진 각축의 결과 값은 X, Y, Z 축의 변위가 걷거나 뛰기를 할 경우 편차가 거의 없거나 한 축은 40(±5%) 정도 축의 차이를 보였다. 일상적인 상황이 아닌 위험 상황일 경우 스마트폰 가속도 센서의 변화는 그 차가 두 배 이상 발생한다는 것을 확인할 수 있었다. 초당 25fps 정도 발생하는 각 축의 값을 가지고 발생하는 여러 가지 상황을 판단하기 위하여 그 값들을 평균을 낸 다음 표준편차를 구하고 그 값을 가지고 상한 값과 하한 값을 주어 식 (2)과 같이 임계 영역의 기초 데이터로 수집하였다.

각 축 변위에 따른 편차를 최대, 최소로 구분하여 각 상황에 맞게 오차범위 안에 위험 상황을 실험한 결과 Table 6과 같이 오차범위 안에서 97%(±5%)까지 확률을 얻을 수 있었으며 오차 확률도 3%(±5%) 정도 나오는 것을 확인할 수 있었다. Fig. 8은 평상시와 위험상황과의 차이를 확인할 수 있는 인지영역을 그래프로 확인할 수 있다.

Table 6.Base rate occurred in competing threshold

Fig. 8.3-axis Displacement for Danger Detection.

4.4 가속도 센서와 심박센서 구동에 대한 고찰

iriverOn M100 심박센서를 활용하여 평상시 심박수가 평균을 넘지 않을 경우 안정적으로 나타나지만 심박수의 한계치가 초과할 경우 Fig. 9와 같이 상황인식에 따른 심박 측정치의 초과 상태가 오랫동안 유지되는 것을 알 수 있다. 심박센서의 경우 임계값은 휴식기 또는 일상생활 속에서 나타나는 심박수의 평균치 이상일 경우 식(3)과 같이 적용할 수 있다. 심박수 표본 값은 Hr(heart rate)로 표기한다.

Fig. 9.The average heart rate changes in situational awareness.

실험대상자에서 축출한 심박수는 iriverOn M100 제품을 이용하여 블루투스 환경에서 휴식기 심박수와 평상시 걷거나 약간씩 뛰는 정도의 상황을 2분 간격으로 휴식기 각 10회, 평상시 각 10회를 실시하여 Table 7과 같이 결과를 확인하였다.

Table 7.Changes in the value of the subject and the average heart rate sensor

휴식기 또는 평상시 심박수를 측정한 결과와 같이 심박수의 임계값은 휴식기와 평상시 보다 30%정도 높은 심박급속증에 해당하는 105(bpm)로 측정할 수 있다. 실험 대상자의 심장박동테스트에서 심박급속증을 유발할 수 있는 실험은 급속하게 뛰는 방법으로 대처하여 심박수를 측정하였다. 이렇게 발생한 자료를 근거로 가속도센서의 위험 인지와 심박센서의 위험인지를 동시에 설정하여 실험한 결과 심박센서의 경우 임계영역이 일정시간 유지하는 것을 알 수 있다. 결국 가속도센서의 변위가 위험상황일 때 심박수를 동시에 체크하여도 측정범위를 벗어나지 않는 것을 확인할 수 있다.

가속도 센서와 심박센서를 동시에 가동시켜 위험 범위 내에 자료가 발생할 경우 지정한 사용자에게 GPS정보 및 위험 상황을 알려주는 어플리케이션을 구동한 결과 설정 사용자에게 전달되는 상황정보는 건물 외부에서는 GPS정보가 전송되나 건물 내부에서는 전송이 용이하지 않다. 또한 스마트폰 가속도센서 각 축 X, Y, Z에서 측정치의 오차 범위를 더 높일 경우 정확도가 91.3%(±5) 정도 나타나는 것을 확인할 수 있다. 이는 각 축에서 한 축이라도 위험 범위가 일정 시간 노출되면 위험 상황으로 인지하도록 하였으나 2가지 이상 축의 변위가 위험 범위를 넘을 경우 상황인지를 할 수 있도록 측정한 결과이다.

심박센서의 경우 휴식기 심박수와 평상시 심박수를 측정하여 위험상황을 인지할 수 있는 임계영역을 심박급속증에 해당하는 범위를 할당하여 실험하였다. 이 결과 스마트폰 가속도센서의 위험범위를 인지하였을 때 심장박동 상태가 심박급속증에 해당하는 영역 안에 도달할 경우 가속도센서의 하드웨어적 변위보다 그 지속 시간이 길어 상황인지의 필요조건으로 적용이 가능하다.

본 연구에서 설계한 위험 상황 인지 시스템은 복합적인 센서의 조합을 통한 방법을 연구하였다. Table 8과 같이 착용 형과 간접 관찰 형으로 이루어진 관찰 시스템과 비교해보았다. 본 연구에서는 스마트폰의 높은 보급률에 따라 센서의 별도 구비가 필요하지 않고 누구나 안정적으로 위험인지와 상황전파가 가능하다는 것과 기존의 네트워크서버를 경유하지 않아 자체적인 상황인지 알고리즘에 적용하여 가속도센서와 심박센서 등의 조합을 통하여 빠르게 상황 판단이 이루어질 수 있는 것이 특징이다.

Table 8.Table of comparing each situation-recognition researches

 

5. 결 론

본 논문은 스마트폰의 센서를 활용하여 언제 어디서나 일어날 수 있는 위험상황을 인지할 상황인식 시스템을 설계하였다. 몸에 부착하는 기존의 센서 방식을 사용하지 않고 스마트폰에 내장된 가속도센서와 웨어러블 심박센서를 활용하였다. 위험상황을 인지하는 과정에서 가속도센서의 변위 값을 활용하였으며 심박센서의 변위 값을 함께 측정하고 두 센서를 조합하여 위험 상황 인식에 관한 연구를 진행하였다. 스마트폰의 휴대성을 바탕으로 내부에 장착된 센서를 활용하여 가속도센서를 이용한 실험은 20초 단위로 1분씩 걷기, 뛰기, 위험 상황을 연출하여 데이터를 수집하였다. 또한 연결된 심박센서를 이용하여 휴식기 및 평상시 심장박동을 기초 자료로 하여 실험을 진행하였다. 기존의 상황인식 관련 연구는 가속도센서 또는 자이로센서를 활용한 상황인지 연구이나, 심박센서를 추가하여 상황인식에 대한 신뢰성을 높일 수 있는 융합기술로 안전하지 않은 상황에 대처하기 위해 USN 기반으로 설계하였다.

상황 변화를 추론하는데 가속도 센서의 변위차가 조금씩 다를 수 있어 발생하는 자료를 다시 25fps씩 묶어 그 값에 평균과 표준편차를 내고 그 상한 값과 하한 값을 임계값으로 하여 비교분석 하였다. 그 결과 정확도가 97%(±5%)로 나왔으며, 오류 확률도 3%(±5%)로 나타나는 것을 알 수 있었다. 아울러 심박센서의 경우 심박급속증 현상이 일어나는 상황을 추론할 때 위험상황을 복합적으로 인지할 수 있는 것을 확인할 수 있었다.

이동 중 상황인지에 있어 무엇보다 신체리듬이 다양하게 나타난다. 그 리듬이 안정적으로 나타나지 않은 경우 신체리듬을 측정하는 방식에 있어 가속도센서와 심박센서를 융합하여 실험한 결과 정확도를 높일 수 있었다. 향후 연구는 위치기반 가속도센서와 자이로센서, 고도 센서 등을 활용한 값을 데이터베이스화하고 사용자의 활동에 대한 센서 값을 상황정보 시스템에 구성하여 그 경향을 분석하고 위기에 대한 상황정보를 인식할 수 있는 데이터베이스 모델링을 연구할 계획이다.