DOI QR코드

DOI QR Code

Implementation of A Vibration Notification System to Support Driving for Drivers with Cognitive Delay Impairment

  • Gyu-Seok Lee (Dept. of Industrial Engineering, National Kumoh Institute of Technology) ;
  • Tae-Sung Kim (Dept. of Industrial Engineering, National Kumoh Institute of Technology) ;
  • Myeong-Chul Park (Dept. of Avionics Engineering, Kyungwoon University)
  • Received : 2024.03.18
  • Accepted : 2024.04.11
  • Published : 2024.04.30

Abstract

In this paper, we propose a vibration notification system that combines navigation information and wearable bands to ensure safe driving for the transportation vulnerable. This system transmits navigation driving information to a linked application, converts it into a vibration signal, and provides notifications through a wearable band. Existing navigation systems focus on providing route guidance and location information, so the driver's concentration is dispersed, and safety and convenience are deteriorated, especially for those with mobility impairments, due to standard vision and delayed recognition of stimuli, resulting in an increasingly high traffic accident rate. To solve this problem, navigation driving information is converted into vibration signals through a linked application, and vibration notifications for events, left turns, right turns, and speeding are provided through a wearable band to ensure driver safety and convenience. In the future, we will use cameras and vehicle sensors to increase awareness of safety inside and outside the vehicle by adding a function that provides notifications with vibration and LED when the vehicle approaches or recognizes an object, and we will continue to conduct research to build a safer driving environment. plan.

본 논문에서는 교통약자의 운행지원을 위하여 내비게이션 정보와 웨어러블 밴드를 융합한 진동 알림 시스템을 제안한다. 기존 내비게이션 시스템은 정상인을 기준으로 길 안내와 위치정보 제공에 초점이 맞춰져 있어 표준시력 및 자극의 인지 지연의 장애가 있는 교통약자에게는 안전 및 편 Stick PC의 애플리케이션으로 전송하고 변환된 신호를 웨어러블 밴드로 전달한다. 웨어러블 밴드 의성 저하로 인한 교통사고 유발의 위험성을 가진다. 제안하는 시스템은 내비게이션 운행 정보를 에 전달된 신호는 유형에 따라 좌회전, 우회전, 과속 및 이벤트 등의 구분된 진동 신호를 통하여 운전자의 운행가이드 정보로 제공된다. 구현된 시스템의 성능평가 결과, 메시지의 송수신은 안정적인 상태를 유지하였고 내비게이션 정보 수신에 따른 진동 신호의 반응속도는 평균 1.875ms로 유효한 결과를 보였다. 또한, 한국장애인고용공단 일자리 안정부 장애우를 대상으로 1개월간의 현장 적응 평가에서도 편리성, 오작동, 추가 및 개선 사항과 접근용이성 측면에서 평균 9.16점으로 매우 긍정적인 사용자 평가를 받았다. 향후 카메라와 차량의 센서를 추가하여 차량 접근이나 객체 인식 등에 대한 알림 기능을 추가하여 차량 내부와 외부의 안전에 대한 인식을 높이고, 시력 및 인지 지연 장애가 있는 운전자의 안전한 주행 환경을 구축하기 위한 연구를 계속할 계획이다.

Keywords

I. Introduction

현대 사회에서는 다양한 이동 수단을 이용하며, 이에 따라 길을 찾거나 위치를 파악해야 하는 경우가 많다. 내비게이션(Navigation)은 GPS(global positioning system)를 기반으로 목적지까지 빠르게 이동할 수 있도록 지도 및 경로 안내와 다양한 정보를 제공해 주는 시스템으로 운전자나 탑승객을 편리하게 목적지까지 도착할 수 있도록 해주는 중요한 시스템(System)이다. 내비게이션은 군사 및 항공 용도로 개발되었고, 이후 민간 사용으로 GPS를 연결하여 스마트폰 또는 차량 내비게이션을 사용하고 있었다. 최근에는 자동차와 IT(Information technology)기술을 융합하여 양방향 통신을 기반으로 인터넷과 모바일 서비스 등으로 실시간으로 정보 처리가 가능한 커넥티드카(Connected car)를 통해 차량 정보 및 도로 기반 시설 및 실시간 길 안내를 이용하고 있다[1]. 이렇게 자동차는 지속해서 안전을 위한 변화를 거듭하고 있지만 도심의 발전함에 따라 도로 시스템이 매우 복잡해지고 기존 내비게이션 시스템은 길 안내와 위치정보 제공에 초점이 맞춰져 있으며 시각적 또는 음성 기반으로 되어 있어 운전자의 집중력이 분산되고 있다. 특히 교통약자는 표준시력 및 자극의 인지 지연으로 안전과 편의성이 저하되어 교통사고율은 점점 더 높아지고 있다[2]. 통계청 자료에 의하면 2000년도 이후 최다 사망자를 기록하였지만 2004년을 기점으로 교통사고 사망자가 반감기에 진입하였다[3]. 2022년 교통사고는 전년 대비 사고 건수는 3.1%로 교통사고 예방 활동 및 법규준수 의식 향상으로 감소하고 있지만 OECD(Organisation for Economic Co-operation and Development) 주요 가입국에 비해 하위권에 위치하여 범국민적인 교통사고를 줄이기 위한 노력이 필요하다[4]. IoT(Internet of Things) 기술과 웨어러블(Wearable) 기술의 발전으로 교통약자의 안전과 편의성을 높일 수 있는 기술이 등장하였다. IoT와 웨어러블의 융합시스템은 실시간으로 위치정보와 길 안내를 제공하고 위험 상황을 감지하여 진동으로 알림을 제공하여 교통약자의 시선 분산을 최소화하고 진동으로 인지 자극을 최대화하여 안전 운행을 도모할 것이다.

본 연구에서는 기존의 내비게이션 시스템에서 발생하는 문제점을 해결하기 위해 내비게이션 정보와 웨어러블 밴드를 융합하여 주행 시 내비게이션 정보에 따라 손목밴드를 통해 진동으로 알림을 주는 시스템 구현으로 교통약자에게 안전운전을 할 수 있게 지원하고 사고 예방 및 편의성을 향상하고자 한다. 논문의 구성으로 2장에서는 관련연구에 대해 기술하고 3장에서는 설계 및 구현에 관해 기술한다. 4장에서는 구현된 시스템의 성능측정과 결과에 대해 상세히 설명하고 5장에서는 결과에 관해 기술한다.

II. Preliminaries

1. Related works

IoT는 사물인터넷으로 인터넷(Internet)에 연결된 사물들이 서로 데이터를 공유하여 소통하고 제어할 수 있는 기술로 4차 산업혁명의 핵심기술이며, 최근 인공지능 기술을 활용하여 자유롭고 지능적으로 사용자의 개입하지 않아도 스스로 판단하고 행동할 수 있어 스마트홈(Smart home), 스마트팩토리(Smart factory), 스마트시티(Smart city)등에 다양하게 이용되고 있다. IoT 기술의 확장으로 자동차는 커넥티드(connected) 기기가 되었고 커넥티드카는 네트워크(Network) 연결을 통해 생성되는 데이터(Data)를 다양한 연결 대상과 실시간, 양방향으로 통신하면서 플랫폼(Platform)화된 자동차이다[5]. 커넥티드카의 서비스 분야는 엔터테인먼트 제공과 차량 관리, 차량 운행에 관련된 보조 시스템 등을 제공하고 있다. 차량용 엔터테인먼트시스템은 운전자 혹은 동승자에게 다양한 정보와 즐길 수 있는 콘텐츠를 제공하는 시스템으로 차량 정보제공으로 운전자에게 안전하게 주행할 수 있도록 안정성을 보장하고 오락적 요소가 가미된 콘텐츠 서비스 제공하고 있다[6]. 이처럼 인포테인먼트 시스템은 차량이 텔레메티스(telematics), 커넥티드카, 자율주행 자동차로 진화하는 과정에서 커넥티드카 환경의 구현에 필요한 핵심적인 역할수행을 하고 있다[7]. 운전자가 안전운전을 하도록 유도하기 위해, 장애인과 비장애인을 대상으로 길 안내에 햅틱으로 인지에 관한 연구가 있었다. 햅틱을 활용한 내비게이션 연구는 신발, 모자, 손목시계 형태의 밴드 타입으로 직관적인 방향인지에 관해 연구 결과로 햅틱 피드백으로 적합하다고 하였고, 내비게이션 서비스를 제공할 때 시각장애인 비시각장애인 모두 상황에 따라 직관적 인지를 돕는 피드백 방법이 각각 달라서 햅틱과 음성의 피드백이 복합적으로 제공되는 형태를 선호한다고 하였다[8]. 또한 시각장애인들을 대상으로 햅틱 피드백 지팡이를 통해 주변 장애물을 감지하면 햅틱 장치가 진동으로 알려주는 것으로 기존 삼점촉타법을 사용하여 3차원의 정보에 대해 빠르게 알 수 있고 지면의 변화에 대해 진동 피드백으로 안전하게 보행할 수 있는 연구 결과도 있었다[9]. 변재형의 연구에서는 운전자가 주행상황을 모니터링 하지 않는 상황에서 시각을 보완하기 위한 멀티모달리티(Multi-modality)로 디스플레이, 진동 촉각, LED 라이팅의 순서로 적합성이 높다고 하였다[10]. 안전한 주행을 위한 제품 및 서비스로 내비게이션, 커넥티드카 서비스, ADAS(Advanced Driver Assistance System), 스마트 크루즈 컨트롤(Smart Cruise Control) 등이 있다. 대표적으로 사용되는 내비게이션 시스템은 음성과 시각 정보를 통해 지도를 기반으로 도로 상황과 목적지를 안내한다. 하지만, 공사나 교통체증으로 인해 도로 상황이 변하는 경우 잘못된 길 안내를 제공하거나, 운전자가 내비게이션 화면을 주시해야 하므로 전방 주시가 분산될 수 있는 위험 요소가 있다. 이에 운전자가 안전하고 운전 부주의를 예방하기 위해 사람의 엄지손가락을 자극을 이용한 방법으로 상·하, 좌·우 방향 구분에 대해 햅틱 피드백(Haptic feedback)으로 학습이 쉽고 주행 시 직관적으로 방향을 인지할 수 있다[11]. 또한 시각장애인의 보행을 보조하기 위한 손목 착용용 Tactile display를 이용하여 3차원 방향 정보에 대한 인지적 정확도를 확인한 연구로 진동 패턴에 대한 인식은 100%였지만, 방향의 정보를 최소화하고 위치와 방향을 모두 측정할 수 있는 시스템이 필요하다[12].

본 시스템은 내비게이션 정보와 웨어러블 밴드를 융합하여 주행 정보를 통해 웨어러블 밴드로 진동을 주어 차량에서 운전자에게 안전한 주행을 할 수 있도록 도움을 주는 것이다. Fig. 1은 차량으로 목적지까지 이동 시 내비게이션에서 주행 정보를 Stick PC로 전송하고 전송된 데이터를 변환하여 진동 신호로 웨어러블 밴드로 보내는 형태로 Stick PC는 차량과 USB 통신으로 연결하며 Stick PC와 웨어러블 밴드는 블루투스 통신 방법으로 연결한다.

CPTSCQ_2024_v29n4_115_3_f0001.png 이미지

Fig. 1. Vibration notification system configuration

시스템의 주요 구성은 Stick PC와 웨어러블 밴드로 구성되어 있으며 Table 1에 주요 기능과 사용법, 사용처, Spec에 대해 기술하였다. Stick PC는 안드로이드 운영체제를 기반으로 메모리와 CPU 등의 장치를 포함하며 인포테인먼트 서비스(Infotainment service)를 지원하고 안드로이드 오토(Android auto)를 통해 차량과 연동하여 사용한다. 웨어러블 밴드는 안드로이드나 IOS 운영체제에 블루투스로 연결을 지원하며 시계, 건강, 알림 등의 서비스를 제공한다.

Table 1. Configuration and Functionality of Vibration Notification Navigation

CPTSCQ_2024_v29n4_115_4_t0001.png 이미지

III. System Design & Implementation

1. System configuration

Fig. 2는 Stick PC와 웨어러블 밴드, 내비게이션, 애플리케이션(Application), 디스플레이(Display)로 연결된 시스템 아키텍처이다. 길 안내 애플리케이션(T-map)과 손목밴드를 연결할 수 있도록 별도의 애플리케이션과 화면송출을 위한 Display로 구성하였다. Stick PC는 운전 정보연동부, 데이터 관리 모듈 및 Wearable Band 연동부를 전체 포함하고 있다. Stick PC는 애플리케이션을 구동할 수 있도록 하며 내비게이션과 애플리케이션을 지원한다. 길 안내 애플리케이션(내비게이션 T-map)은 주행 정보를 Stick PC의 서버로 전송하면 Car Display와 애플리케이션으로 각각의 정보를 전달한다. 이후 애플리케이션에서 Stick PC에 블루투스로 연결된 Wearable Band로 진동신호를 전송한다.

CPTSCQ_2024_v29n4_115_4_f0001.png 이미지

Fig. 2. Vibration notification navigation architecture

2. Development of SW

진동 알림 시스템은 내비게이션에서 전달되는 정보를 수신하기 위해 T-map 애플리케이션과 연동을 한다. 차량에서 T-map 애플리케이션 사용을 위해 Stick PC를 차량과 연결하여 안드로이드 OS에서 내비게이션 정보를 전송한다. 이에 Boot-load와 안드로이드 OS를 통해 개발 환경을 설정하고 Stick PC를 연결하여 차량 센서 데이터를 획득한다. 획득한 정보를 XML 형식의 정보를 분석하고 해석하여 필요한 정보를 분류한다. 웨어러블 밴드와의 연동을 위해 내부 및 T-map 애플리케이션에서 전달되는 운행 정보 주기에 맞게 처리할 수 있는 내부 구조를 가지며 진동 알림패턴을 생성하여 웨어러블 밴드에 신호를 전달한다.

2.1 Boot-load

Boot-loader는 전원 인가 시 OS(Operating system)를 불러오기 전까지 컴퓨터의 하드웨어를 초기화하고 제어하는 역할로 일반적으로 ROM(Read only memory)에 있다. 시스템 부팅(System Booting) 순서는 Fig. 3과 같다. Boot loader를 RAM(Random access memory)에 적재하기 위하여 Power On and System Start up을 설정하였다. 다음 Boot loader를 통해 시스템의 초기설정을 위해 program을 외부 RAM에 load 하였고 네트워크(Network), 메모리(Memory) 등 kernel이 실행할 수 있도록 설정하였다. 여기에서는 Kernel을 RAM에 로드하고 실행될 수 있는 환경을 구축한다. Kernel은 장치, 프로세스(Process), 메모리, 시스템 호출 기능을 관리하는 역할이다. 다음 Kernel 설정으로 CPU가 데이터에 빠르게 접근할 수 있도록 Cache 메모리를 설정하고 메모리보호, 스케줄관리, 하드웨어를 제어하기 위한 드라이버를 실행하는 일을 수행한다. 다음은 Init 프로세서로 시스템의 초기화를 위해 파일 시스템이 지정된 모든 폴더와 시스템 정보를 저장하는 디렉터리(/sys)와 장치 파일을 저장하는 디렉터리(Directory)(/dev), 프로세스 정보를 저장하는 디렉터리(/proc) 연결하여 저장된 정보에 접근하여 사용할 수 있게 하였다. 또한 Init 스크립트(Script)를 실행하여 장치를 초기화하고 Framework 동작에 필요한 각 daemon, context manager, media server, zygote 등을 실행하였다.

CPTSCQ_2024_v29n4_115_5_f0001.png 이미지

Fig. 3. Flowchart of Boot-loader

Android 애플리케이션은 Java로 작성되어 있어 리눅스(linux) OS에서 실행되지 않고 가상공간에서 실행할 수 있는데 실행까지 많은 시간 소요가 있어 Zygote 프로세스를 실행하여 가상 머신코드와 메모리 정보를 공유하게 하여 실행 시간을 단축하게 하였다. 이는 Android에서 최소의 라이브러리(libraries)만 탑재하고 있는 프로세스인 Zygote를 미리 여러 개 만들어서 애플리케이션 실행 시 Zygote를 통해 애플리케이션을 실행하는 구조이다.

다음으로 Dalvik VM으로 자바(Java) 언어로 작성된 애플리케이션을 안드로이드 기기에서 실행할 수 있도록 변환하고 실행하는 역할로 자바 언어로 작성된 애플리케이션을 컴파일하여 바이트 코드로 변환하고, 바이트 코드를 Dalvik VM에서 실행할 수 있는 형태로 변환한다. 바이트코드는 고급 언어로 작성된 소스 코드를 가상머신이 이해할 수 있는 중간 코드로 컴파일한 것을 말한다.[13] 이때 Dalvik VM은 Register-Based Architecture를 사용하여 값의 처리를 4개의 Register를 통해 진행하여 메모리 접근 시간을 줄이고, Register에 직접 접근하기 때문에 처리속도를 높일 수 있다. 시스템 서비스에는 안드로이드 시스템 동작으로 애플리케이션이 원활하게 실행할 수 있도록 Zygote가 System service를 시작하고 Core service는 Starting power manager, Creating the Activity Manager, Starting telephony registry, Starting package manager, Set activity manager service as system process, Starting context manager, Starting system contact providers, Starting battery service, Starting alarm manager, Starting sensor service, Starting window manager, Starting Bluetooth service, Starting mount service를 실행하여 운영체제의 안정성과 성능을 향상하고 초기화 과정에서 시스템 서비스를 미리 시작하여 애플리케이션 실행 시 발생할 수 있는 오류를 최소화한다.

2.2 OS Porting based on Android 9.0

시스템 개발을 위한 개발 환경으로 리눅스 PC 우분투를 구축한 후 필요한 패키지를 설치 후 Cortex-A53 관련 자료를 받아 구축하였다. Table 2는 Cortex-A53의 주요 기능 및 특징을 나타낸 것이다.

Table 2. Cortex-A53 characteristic.[14]

CPTSCQ_2024_v29n4_115_5_t0001.png 이미지

안드로이드 9.0 소스 코드를 설치한 후 디렉터리로 이동하여 안드로이드 운영체제를 개발하기 위한 환경을 설정하도록 스크립트를 실행 (source build/envsetup.sh)하였다. 다음 안드로이드 버전과 장치를 선택하고(sabresd_ 6dq-eng) build-log를 통해 개발 과정에서 발생하는 출력을 파일에 저장하였다. 안드로이드 소스 코드는 컴퓨터가 이해할 수 있는 실행파일로 변환하였고 source build/envsetup.sh의 명령어로 안드로이드 빌드환경을 설정하는 스크립트를 실행하고, lunch sabresd_6dq-eng를 통해 장치와 안드로이드 버전을 선택하였다. make -j 9 2>&1 | tee build-log 명령어로 컴파일 속도를 높이기 위해 9개의 프로세스를 사용하고 컴파일 과정에서 발생하는 출력을 build-log에 저장하도록 하였다. 안드로이드 운영체제의 하드웨어와 소프트웨어 간의 통신과 시스템을 관리하고 제어하기 위하여 Table 3과 같이 명령어를 작성하였다. 해당 코드는 안드로이드 빌드(Build) 경로를 설정하고 커널 소스가 있는 디렉터리로 이동한 후 현재 설정된 아키텍처와 크로스 컴파일 경로 확인한다. 아키텍처를 arm으로 설정하고 크로스 경로를 설정한 후 안드로이드용 커널 설정 파일을 생성 후 커널을 컴파일한다.

Table 3. Kernel Compilation Code

CPTSCQ_2024_v29n4_115_6_t0001.png 이미지

2.3 Service Interconnection of Connected Car

서비스 통신 및 데이터 교환으로 USB 연결을 통해 Stick PC의 전원 5V(1A)를 차량과 연결한다. 이후 차량시스템 설정에서 안드로이드 오토를 활성화하면 Android 운영체제가 차량 디스플레이에 나타난다. Connection manager 및 애플리케이션의 화면 및 소리를 전달하고 디스플레이의 터치 입력을 통해 애플리케이션 레이어와 연동을 할 수 있도록 구성하며 Stick PC 장치에도 연결된다.

2.4 Development of Sensor Data Channel

차량에 장착된 센서(Sensor), 차량 상태 및 주변 정보를 수집하고 외부 시스템에 전달하는 목적으로 제공된 차량의 인터페이스를(Interface) 사용하였다. 또한 사용자가 가장 많고 평가가 가장 좋으며 T-map이 안드로이드 채널 인터페이스를 사용하기에 적합하여 T-map을 채택하였고 SDK(Software Development Kit) 위치[15]와 API 위치[16]로 이동하여 SDK와 API Key를 내려받아 설치하였다. 또한 T-map을 사용하기 위해 Jar 파일을 추가 후 인터넷 연결과 위치정보를 수집하기 위한 권한을 추가 부여하였다. 마지막으로 수집한 데이터를 외부 시스템에 전달하기 전 데이터의 형식과 크기를 일정하게 맞춰주도록 XML 형식으로 정규화하고 Normalized Channel로 구성하여 외부 시스템으로 전달한다. Table 4는 센서 정보 코드로 차량 내 센서와 연동한 센서 정보 수집을 외부 정보로 보내는 과정으로 XML 문서와 인코딩 방식을 정의하고 차량의 현재 방향각도, 속도, 현재 위치의 위도와 경도 그리고 주간 및 야간 여부를 확인할 수 있었다.

Table 4. Sensor Information Transmitted from the Vehicle

CPTSCQ_2024_v29n4_115_6_t0002.png 이미지

2.5 Vibration system implementation

인포테인먼트 시스템에서 음성 알림 신호의 정보를 확인하기 위해 메시지의 종류가 XML 형식의 문자열인 경우와 음선 신호 2가지로 구분된다. 음선 신호가 왔을 때 진동으로 음성신호 도착을 알린다. 4가지 종류의 신호 중 좌회전 코드는 dataEDCRG. stGuidePoint.nTBTTurnType으로 nTBTTurn type 값이 좌회전 값(12 : 좌회전, 16 : 8시 방향 좌회전, 17 : 10시 방향 좌회전, 75 : 첫 번째 왼쪽 길, 76 : 두 번째 왼쪽 길, 102 : 왼쪽 고속도로 입구, 105 : 왼쪽 고속도로 출구, 112 : 왼쪽 도시고속도로 입구, 115 : 왼쪽 도시고속도로 출구, 118 : 왼쪽방향)에 해당하면 좌회전 진동 신호를 보낸다. 우회전 코드는 좌회전과 같고 해당값(13 : 우회전, 18 : 2시 방향 우회전, 19 : 4시 방향 우회전, 73 : 첫 번째 오른쪽 길, 74 : 두 번째 오른쪽 길, 101 : 오른쪽 고속도로 입구, 104 : 오른쪽 고속도로 출구, 111 : 오른쪽 도시고속도로 입구, 114 : 오른쪽 도시고속, 도로 출구, 117 : 오른쪽 방향)에 입력되면 우회전 진동 신호를 보낸다. 과속정보는 과속의 판단과 카메라까지의 거릿값을 이용해서 진동 신호를 보낸다.

IV. Experiments and Results

본 연구의 구현 결과로 안전 주행을 위한 진동 알림 시스템의 성능을 평가하기 위한 시험을 하였다. 실험을 위해 Stick PC와 웨어러블 밴드, 모니터를 구성하고 Wi-Fi 통신을 위한 공유기를 배치하였다. 이후 Stick PC에 전원을 공급하고 모니터와 연결하여 실험 환경을 구성하였다. 평가 항목으로는 내비게이션 정보 메시지의 송신과 수신 확인, 소요 시간을 측정하고 안드로이드 운영체제에서 연동 애플리케이션의 블루투스 통신과 동작 확인, 웨어러블 밴드 진동 관련 항목을 구성하였다. 성능평가는 항목마다 5회 이상 측정하고 평균값으로 환산하여 결괏값을 도출하였다. 성능평가 항목과 결과는 Table 5에 나타내었다.

Table 5. Performance Evaluation Items and Results

CPTSCQ_2024_v29n4_115_7_t0001.png 이미지

성능 평가의 첫 번째로 내비게이션에서 정보 전송 확인을 위하여 시험 범위를 설정하였다. 정보 전송은 Fig. 4과 같이 내비게이션에서 정보를 중계 애플리케이션으로 전달하고 이에 웨어러블 밴드와 연동할 수 있는 애플리케이션 전송된다. 검증을 위한 범위로는 Fig. 4의 Latency check에 해당하는 부분으로 중계 애플리케이션(APP)에서 메시지 전송 시점에서 T-map linkage 애플리케이션까지 메시지가 수신된 지점을 구분하고 메시지 전송에서 수신까지 도달하는 시간을 확인하였다. Table 6는 10회의 테스트로 이벤트 발생 알림, 좌회전 알림, 우회전 알림, 과속알림에 대해 측정 결과로 목표한 20ms 이내를 만족하였다.

CPTSCQ_2024_v29n4_115_7_f0001.png 이미지

Fig. 4. Diagram of Vibration Notification System

Table 6. Latency measurement results

CPTSCQ_2024_v29n4_115_7_t0002.png 이미지

두 번째 성능평가로는 블루투스 통신에 대한 항목으로 웨어러블 밴드와 연동 애플리케이션과의 통신을 확인하였다. 웨어러블 밴드의 MAC 주소를 확인한 후 BLE 스캐너 애플리케이션으로 웨어러블 밴드의 블루투스 연결이 가능한지 확인했다. 다음은 연동 애플리케이션의 블루투스 기기 연결로 웨어러블 밴드의 진동 체크를 통해 연결 여부를 확인하였다. Fig. 5는 웨어러블 밴드의 MAC 주소 확인과 연동 애플리케이션으로 웨어러블 밴드와의 블루투스 연결을 보인 것이다. 블루투스 통신의 신호강도 측정은 총 10회로 –28dBm ~ -42dBm으로 나타났으며 평균 –32.6dBm으로 유효한 결과를 도출하였다.

CPTSCQ_2024_v29n4_115_7_f0002.png 이미지

Fig. 5. Check Wristband Bluetooth Communication

진동 알림에 대한 성능평가로 내비게이션, 연동하는 애플리케이션과 웨어러블 밴드를 연동한 후 시험하였다. 연동 애플리케이션으로 진동 패턴의 UI를 클릭하여 웨어러블 밴드의 진동 발생으로 연동상태를 확인하고 그 후 내비게이션(T-map)을 실행하여 주행 시 발생하는 이벤트, 좌회전, 우회전, 과속에 대한 알림 시험을 진행하였다. 4가지 신호에 대한 진동을 확인하고, 검증을 위해 주행 시 목적지까지 이동한 경로에 대해 내비게이션에서 손목 밴드로 정보를 전달한 신호 데이터(log data)로 확인하였다. Fig. 6의 (a)는 내비게이션 실행을 하여 목적지까지 안내를 통해 이벤트 및 정보 알림을 주는 것이며, (b)는 정보 알림을 받은 웨어러블 밴드가 진동으로 알림을 주는 것이다. 알림확인을 위해 바닥에 웨어러블 밴드를 두고 마이크의 울림을 통해 진동 여부를 확인했다.

CPTSCQ_2024_v29n4_115_8_f0001.png 이미지

Fig. 6. Navigation Signal Transmission Log Data

구현한 진동 알림의 시스템에 평가와 개선 사항에 대해 피드백을 받고자 사용자 평가를 하였다. 평가 대상은 운전이 가능한 장애인으로 청각 장애인(중증)과 청각 및 언어장애, 지체 장애로 구성된 장애인고용공단 일자리 안정부 6명의 인원을 대상으로 1개월의 체험 후 평가서를 분석하였다. 평가 항목은 5개의 질의로 편리성, 오작동, 추가 및 개선 사항과 접근용이성으로 결과는 Table 7와 같이 각 10점 만점에 평균 9.04점으로 나타났다.

Table 7. Results of User Evaluation

CPTSCQ_2024_v29n4_115_8_t0001.png 이미지

평가 결과로 편리성에 대해서는 전원 만족하였고 오작동에서는 사용기간 1개월 내 오작동은 없었으며, 추가 및 개선 사항에는 메시지 애플리케이션(Kakao talk)의 연동제한과 의견과 안드로이드 연동이 불가한 차량에 대해 패드 지원을 언급하였으며 특히, 시스템을 별도로 장착하는 불편함을 해소할 수 있도록 내비게이션에 내장되기를 원하였다. 또한 접근용이성에 대해서는 모두 접근이 쉬웠다고 하였으며 장점으로는 진동으로 인해 전방주시가 높아지고 운전의 부주의성이 낮아지는 의견이 많았으며, 스트리밍 서비스 지원으로 주행 중 운행의 즐거움도 느낄 수 있다고 하였다. 단점으로는 진동 시 내비게이션 재확인으로 시선 분산이 높아진다는 의견이 소수 있었으나 사용경험이 적어서 나타난 경험이라고 하였다.

V. Conclusion

본 연구는 교통약자가 안전하게 운행하기 위하여 내비게이션에서 전송하는 신호정보를 애플리케이션으로 진동신호로 변경하여 웨어러블 밴드에 알림을 주는 진동 알림 시스템을 구현하였다. 차량에서 내비게이션 사용 시 기존의 시각 정보와 음성정보를 적용하고 4가지의 정보(이벤트, 좌회전, 우회전, 과속 방지)에 대해 웨어러블 밴드로 알림을 발생할 수 있도록 개발하였다. 또한 사용자 평가를 통해 편리성, 유효성 확인으로 운행의 안전성을 높이고 내비게이션과 전방주시의 분산 감소를 알 수 있었다. 또한 스트리밍 서비스 등을 통해 편의성도 확인할 수 있었다. 추후 차량의 외측 카메라, 차량의 전방 및 후방, 외측의 센서를 이용하여 차량 접근 또는 객체 인식이 발생하였을 때 웨어러블 밴드와 의자에 진동을 주고 LED(Light Emitting Diode) 알림으로 시각적으로 경고 메시지를 통해 차량 내부 안전과 외적 안전에 대해 인식을 향상하여 운행이 더욱 안전할 수 있도록 추가 연구를 지속할 예정이다.

References

  1. Seong gwang Jin, "A study on factors influencing the use of connected cars from an infotainment perspective," Domestic doctoral thesis, Soongsil University Graduate School, 1, 2021. 
  2. Shim Eun-seok, "Empirical study on the impact of human factors of elderly drivers on traffic accident damage," Domestic doctoral thesis, Hannam University Graduate School, 2, 2009. 
  3. Statistics Korea, Traffic Accident Status (Death, Injury), https://www.index.go.kr/unity/potal/main/EachDtlPageDetail.do?idx_cd=1614 
  4. Korea Transport Institute, [2022 Transportation Policy Evaluation Indicators] Volume 2 Traffic Accident Costs, https://www.koti.re.kr/user/bbs/trafficReportView.do?bbs_no=61256 
  5. Lee Mi-jin, "IoT UX design process study," Domestic Master's Thesis Sookmyung Women's University, 2018. 
  6. Kim Jeong-yong, "Analysis of user experience factors of connected car infotainment applications," Domestic master's thesis, Yonsei University Graduate School of Information, 2023. 
  7. Kim Jeong-yong, "Analysis of user experience factors of connected car infotainment applications," Domestic Master's Thesis, Yonsei University Graduate School of Information, 2023. Seoul 
  8. Yoo Ji-min. "Study on haptic navigation for the visually impaired." Domestic Master's Thesis Yonsei University Graduate School of Communication, 2022. 
  9. Min Seonghee, Jung Yunjae, and Oh Yoosoo, "Movement assistance system for the visually impaired using haptic feedback devices." Journal of the Korean Society of Embedded Engineering, Vol. 10, No. 3, pp. 157-164, 6, 2015 DOI 10.14372/IEMEK.2015.10.3.157 
  10. Byun Jaehyung, "Analysis of alternative interface types for universal user experience in self-driving cars - Focusing on non-auditory modality for hearing-impaired drivers," Journal of Integrated Design Research (JIDR) Vol. 20, No. 2 pp. 43-58, 6, 2021 
  11. Sang-yeon Kim, and Seong-man Cho. "Haptic navigation system for the visually impaired." Journal of Multimedia Society vol. 14, No. 1, pp. 133-143, 1, 2011.  https://doi.org/10.9717/kmms.2011.14.1.133
  12. Lee Myeong-joong, "An assistive system to provide spatial information for the visually impaired people's wayfinding and mobility," Domestic doctoral thesis Korea Institute of Science and Technology (KIST), 2, 2024. 
  13. Kyu-Beom Kim, What is a compiler?, https://rbqja.tistory.com/14, 
  14. Arm Developer, Cortex-A53, https://developer.arm.com/Processors/Cortex-A53 
  15. TMAP API, https://tmapapi.sktelecom.com/main.html#android/sample/androidSample.sdk_download 
  16. SK Open API, https://openapi.sk.com/