The Implementation of a Lift Emergency Video Call System based on WebRTC using OpenAPI

Abstract

In this paper, we present a WebRTC-based emergency video call system structure that builds a service system in a constant monitoring environment to increase the usability and stability of elevator emergency call devices. The proposed system provides a smooth call environment between the emergency call system in the elevator and maintenance managers in case of an emergency, performs rapid response processing to elevator emergency calls through monitoring of the target elevator, and handles any emergency calls that may occur in the physical space of the elevator. The purpose is to build an environment that can implement low-latency, real-time video call services of voice and video by overcoming the physical constraints required for video calls. To this end, we have established a service environment based on OpenAPI, which is currently used in various fields and its performance has been proven, and provides video calls and emergency situation dissemination through rapid messaging by providing low-latency call quality. The presented system structure will be able to provide a basis for expanding various functions and constructing a reliable service environment and intelligent model for the elevator system through combination with the elevator control panel and various devices.

본 논문에서는 승강기 비상통화 장치의 활용성과 안정성을 높이기 위해 상시 모니터링 환경의 서비스 체계를 구축하는 WebRTC 기반의 비상 화상통화 시스템 구조를 제시한다. 제시된 시스템은 비상상황 시 승강기 내의 비상 호출 시스템과 유지보수 담당자들 간의 원활한 통화 환경을 제공하고 대상 승강기의 모니터링을 통해 승강기 비상 호출에 대한 신속한 응답 처리를 수행하고 승강기의 물리적 공간에서 발생할 수 있는 화상통화에 필요한 제약환경을 극복하여 음성과 영상의 저지연 실시간 화상통화 서비스를 구현할 수 있는 환경을 구축하고자 한다. 이를 위해 현재 다양한 분야에서 활용되고 그 성능이 검증된 OpenAPI를 기반으로 서비스 환경을 구축하고 실시간 화상통화 및 저지연 통화 품질 제공, 그리고 신속한 메시징 방식의 비상상황 전파 방식을 통해 비상 화상통화 장치의 성능 및 활용성을 높이고자 한다. 제시된 시스템 구조는 승강기 제어반 및 다양한 장치와의 결합을 통해 다양한 기능 확장 및 신뢰성 있는 서비스 환경을 통해 승강기 시스템에 대한 지능적 모델을 구성할 수 있는 기반을 제공할 수 있을 것이다.

I. Introduction

승강기는 도시화와 고층화 과정에서 빠르고 효율적인 이동 수단으로 인식되고 있으며 현대 사회의 생활 방식과 융합되어 빠르게 증가하고 있다. 한국승강기안전공단에 따르면 2022년 국내 승강기 보유 대수는 80만대를 돌파하여 세계 7위, 연간 신규설치 대수 세계 3위에 이르고 있는 반면에 15년 이상 노후 승강기 역시 전체 승강기의 34%에 이르는 것으로 보고되고 있다[1]. 승강기 보유 대수의 증가와 노후화는 승강기 안전에 대한 이슈를 만들고 있으며 승강기 안전 운행 및 비상 대처를 위해 2017년 1월 1일부터 공공용 빌딩 및 주거용 건물에 승강기 비상통화 장치 설치를 의무화하여 승강기 이용 중 비상상황에 대처하고 있다. 이 의무화 정책은 승강기 이용 중에 발생할 수 있는 사고나 긴급 상황에 대비하여 승강기 내부에서 구조요청 및 상황 보고를 할 수 있는 수단을 마련하려는 것으로 승강기 사용자들의 안전을 높이고 승강기 관련 사고로 인한 피해를 최소화하려는 조치로 이루어졌다[2].

기존 비상통화 장치에 사용되는 통화방식은 주로 PSTN(Public Switched Telephone Network) 국선에 연결하는 전화기 방식이나 VoIP를 통한 음성 정보 전달 또는 WCDMA/LTE를 활용한 무선통신방식으로 이루어지고 있다. 이러한 환경은 주로 음성 기반 서비스 모델로 선로의 노후와 및 관리 미흡으로 즉시 응답하지 않는 사례가 빈번히 발생하고 있으며 승강기와의 통합모델을 구성하기가 어렵다. 본 논문에서는 승강기에 설치된 비상 통화 장치의 활용성을 높이고 안정적 관리 모델을 구성하기 위해 WebRTC기반의 비상 화상통화 시스템을 제시한다. 음성과 영상 서비스 기반의 저지연 통화 품질 제공과 승강기 내 설치된 비상 화상통화 시스템 모니터링 및 다양한 환경과의 결합을 통해 지능적 모델을 구성할 수 있는 기반을 제공할 수 있다. 본 논문에서는 비상 통화장치와 WebRTC 기반 연구를 바탕으로 승강기 비상 화상통화 시스템 구축방법을 제시하고 이를 바탕으로 시스템 구현한다.

II. Preliminaries

1. Related works

1.1 Lift Emergency Call Devices

2012년 행정안전부는 승강기 내부에서 외부로 구조요청을 할 수 있는 비상 통화 장치를 의무 설치하는 승강기 검사기준을 전면 개정하였다[2]. 개정 승강기 검사기준에 따르면, 승강기 CAR내부는 관리인력이 상주하는 장소로 서로 연락할 수 있고 위험 상황이나 관리자 부재 시 등록된 긴급연락 번호로 순차적으로 연결을 시도하여 긴급통화연결이 이루어지도록 하여야 한다. 먼저 긴급통화 연결시 품질 향상을 위한 방법으로 음성 샘플링과 노이즈 제거, 음성의 특징점 추출 및 음성 데이터 패턴 비교 등을 통한 위급상황을 대처할 수 있는 방안이 연구되었다[3]. 또한 원격 통합 관리 시스템(RIMS) 기반 서비스 환경을 구축하여 실시간 모니터링, 모니터링에서 발생 되는 사건사고 인식 및 승강기 제어반과 연계한 원격관리 및 체계적 상황대응에 대한 서비스 절차 등 비상상황 시 대처할 수 있는 플랫폼 구성을 위한 방안이 연구되고 있다[4]. 비상통화장치는 1대당 1회선의 전화가 필요하여 이로 인한 전화 요금이 발생한다. 이 비용증가는 장치 관리의 어려움을 증가시킨다. 이 문제를 해결하려는 방안으로 전화 1회선에 3대의 비상통화 장치를 연결하여 운영하는 다중 브릿지 방식의 연구가 제안되었다[5]. 또한, 승강기 무게를 활용한 비상통화 장치의 작동방식 개선방안 연구에서는 어린이, 장애인, 노약자 등 사회적 약자 및 비상상황 대처능력이 부족한 승객을 위해 승강기 정보수집 장치를 통해 원격으로 비상통화 장치를 구동할 수 있는 시스템은 제안하였다[6]. 지능형 영상인식 관제 플랫폼에서는 응급상황에 대한 구조요청의 효과적인 대응을 위해 신고부터 상황 관제, 상황 전파를 통한 신속한 현장 출동 및 상황 대응 서비스 절차를 제시하였다[7].

1.2 The services based on WebRTC

WebRTC(Web Real-Time Communication)는 웹기반 실시간 통신 기능을 제공하는 오픈 웹 표준 기술로 P2P 기반 통신환경과 데이터의 안정성 및 보안을 확보하고, 방화벽 및 NAT(Network Address Translation)을 트레버스하여 피어 간의 연결을 제공하는 등 다양한 네트워크 환경과 저 지연성을 제공하는 기술로 다양한 산업 분야에서 적극적으로 활용되고 있다[8-9]. WebRTC는 P2P기반의 미디어 통신, 두 노드의 최적 경로를 찾아주는 ICE 프레임워크 STUN/TURN서버 등 다양한 기술의 결합을 통해 최적의 미디어 통신환경을 제공하고 있다[10-11]. WebRTC 관련 연구로 원격협업시스템, 영상 컨퍼런싱 및 웹회의, 고객지원, 실시간 스트리밍, IoT분야 등 실시간 저지연성이 요구되는 다양한 영상 서비스 분야에 적용되고 있다[12]. 구성 요소는 표1과 같다.

Table 1. WebRTC Service Components

III. The Proposed Scheme

이장에서는 비상 화상통화 시스템 구성을 위한 환경 요소, 시스템 설계 및 구현 과정에 필요한 컴포넌트를 정의하고, 이를 바탕으로 비상 화상통화 시스템 구현 모델을 제시한다.

1. Lift Emergency Video Call System

1.1 An environment of the Lift Emergency Video Call System

승강기 비상 화상통화 시스템은 비상상황 시 승강기 내의 비상 호출 시스템과 유지보수 담당자들 간의 원활한 통화 환경을 제공하고 대상 승강기의 모니터링을 통해 승강기 비상 호출에 대한 신속한 응답 처리를 수행하고 화상통화에 필요한 물리적 제약환경을 극복하여 실시간 화상통화 서비스를 구현할 수 있는 환경을 구축하는 데 그 목적이 있다. 시스템 전체 환경 구성은 그림 1과 같다.

Fig. 1. System Hardware Architecture

시스템 구성은 Signaling Server를 중심으로 승강기와 관리자 정보관리를 통해 지속적인 모니터링 환경을 구축하여 승강기 시스템의 동작 상황을 실시간적으로 분석 운영할 수 있는 환경을 제공한다. 또한, 비상상황 시 승강기 비상 호출에 대한 실시간 전파를 제공하기 위해 클라우드 기반 메시징 서비스 환경을 구축한다. 또한, 승강기와 관리자 스마트폰과의 물리적 화상통화 연결환경 제공하기 위해 실시간성과 지연율 낮은 WebRTC 구조의 서비스 구조를 구성한다.

1.2 The system functional design of the Lift Emergency Video Call System

1.2.1 Lift and Manager management

승강기 관리에 필요한 승강기 정보 및 승강기별 유지보수 관리자 등록 관리를 통해 상황별 승강기 위기상황 대처구조를 정의할 수 있다. 승강기 정보는 승강기 관리 센터와 연계 가능한 승강기 고유번호를 기준으로 관리 되며, 승강기당 다수의 유지보수 관리자를 포함하여 구성 한다.

1.2.2 Lift Monitoring Service

승강기 모니터링 서비스 구조는 승강기 실시간 상태를 추적 관리할 수 있는 구조를 가진다. 승강기 내의 비상 화상통화 시스템 상태정보를 관리하고 관리자와의 통화상태를 추적함으로써 비상통화 시스템 관리의 효율성을 높인다. 상태정보 흐름은 그림2와 같다.

Fig. 2. Flows of the Lift and Managers status

승강기 상태는 승강기 내 비상통화 장치와 관리자 앱 간의 흐름을 관리하기 위해 비상통화 장치 실행에서 종료 시 까지의 전체 생명 주기에서 발생 가능한 상태정보를 관리하고 모니터링 웹을 통해 실시간 정보를 제공한다.

1.2.3 Emergency Delivery Messaging Service

승강기는 승강기 관리 모델을 통해 유지보수 담당자들이 배정되며 담당자의 스마트폰으로 비상상황을 전달해야 한다. 등록된 관리자들 모두에게 비상상황을 빠르게 전파하기 위해 클라우드 메시징 방식의 서비스를 구성한다.

1.2.4 Design Video call connection and Termination procedures

승강기 비상 화상통화 연결 및 종료 절차는 Signaling Server를 중심으로 Monitoring, Cloud Messing Server, STUN/TURN Server 그리고 승강기 화상통화 시스템과 관리자 시스템 간의 유기적인 흐름을 통해 이루어지며 화상통화는 P2P 방식의 Direct Connection을 통해 실시간/저 지연 구조의 환경을 제공한다. 그림 3은 비상 화상통화 흐름 요소들과 관계를 보여준다.

Fig. 3. The software flow of the emergency call system

WebRTC 기반의 비상 화상통화 시스템 구성은 먼저 Signaling Server를 통해 승강기와 관리자의 연결관리와 세션 할당 과정을 수행하고, Monitoring을 통해 상태정보를 관리한다. 또한, Cloud Messaging Server를 활용해 해당 관리자에게 비상상황 정보를 전달하고 STUN/TURN Server를 활용해 WebRTC 기반 영상 송수신 연결구성을 정의한다. 비상 화상통화 연결 및 종료 절차 흐름은 그림 4와 같다.

Fig. 4. The process of the Emergency Video Call

WebRTC 기반 승강기 비상 화상통화 시스템 연결 및 종료 절차 흐름은 다음 순서를 통해 이루어진다.

1) Lifts는 Signaling 서버와의 접속을 통해 온라인 상태를 유지하며 PeerConnection 및 Media 객체 초기화 등을 통해 비상 호출에 대한 준비상태를 유지한다.

2) Managers는 비상상황을 인식하는 데 필요한 개인식별 토큰을 FCM을 통해 발급받아 Signaling 서버에 전달하여 비상상황 발생 시 메시징 서비스를 받을 수 있는 환경을 제공한다.

3) STUN/TURN서버를 통해 Lift의 private IP에 대응하는 public IP를 구하여 P2P통신을 위한 public IP 환경을 구성한다.

4) 비상상황 시 Lift는 비상 화상통화를 Signaling Server에 요청한다. Signaling Server는 승강기 관리시스템을 통해 해당 승강기 관리자 대상을 파악하고 FCM에 비상 호출 메시지 전달을 요청한다. FCM은 전달받는 개인 식별 토큰을 활용하여 각각의 관리자 앱에 비상 호출 메시지를 전달한다.

5) Manager는 전달받은 메시지를 기반으로 Signaling Server를 활용해 해당 Lift에 접속을 시도한다. Signaling Server는 Monitoring에 해당 상황에 대한 상태정보를 제공하고 Lift에 Manager 접속을 상황을 전달한다.

6) Lift는 Peer간의 미디어와 네트워크 관련 정보를 전달하기 위해 SDP Protocol 기반의 Offer를 Signaling Sever를 통해 Manager에 전달한다.

7) Offer SDP를 수신한 Manager는 자신의 환경의 미디어와 네트워크 관련 정보를 바탕으로 Answer SDP를 Signaling Server를 통해 Lift에 전달한다.

8) Lift와 Manager는 STUN/TURN으로부터 수신된 Peer 간 연결을 위한 최적 경로 정보를 제공하는 ICE candidate 정보를 주고받으며 Peer 간의 Direct Connection 환경을 구성한다.

9) Lift와 Manager는 Remote Video/Audio Stream 정보를 등록함으로써 비상 화상통화 환경을 구성한다.

10) Lift나 Manager를 통해 화상통화를 종료할 수 있다. 종료 시 Lift와 Manager는 관련 리소스를 초기화하고 Lift는 대기 상태로 Manager는 서비스를 종료한다.

1.3 The Implementation of Lift Emergency Video Call System

1.3.1 The Implementation Model of the Lifts

승강기 비상 화상통화 시스템은 효율적 서비스 모델 구축을 위해 OpenAPI를 기반으로 WebRTC 서비스 환경을 구축한다. 크게 중개 서버 역할을 하는 Signaling Server를 중심으로 비상상황 시 호출을 담당하는 LiftApp와 승강기 유지관리를 수행하는 관리자용 ManagerApp으로 구성되며 사용되는 이 구성에 필요한 OpenAPI는 표 2와 같다.

Table 2. OpenAPIs for Emergency Call System​​​​​​​

Signaling Server는 웹서버 구성 및 효율적 Router 정책을 구성할 수 있는 Nodejs와 Express기반으로 구축하고 실시간 통신 및 메시징 처리를 위해 socket.io와 firebase 그리고 mysql기반의 정보관리 체계를 구성한다. LiftApp와 ManagerApp은 플랫폼 독립적이며 다양한 환경에서 서비스를 적용하기 위해 Flutter 기반의 환경으로 구성하고, 실시간 통신 및 화상통화를 위해 webrtc, socket.io 및 firebase API를 기반으로 구축한다.

1.3.2 The implementation of the management of the lift and managers

승강기와 관리자 정보관리는 데이터베이스 기반으로 CUID 기능을 웹 기반으로 제공한다. 그림 5는 승강기와 관리자 정보관리 구성을 보여준다.

Fig. 5. The management web for Lifts and Managers​​​​​​​

승강기와 관리자 관리는 승강기 고유번호를 기반으로 승강기 정보와 관리대상자를 선정하고 관리자는 비상상황 인식을 위한 개별 Token 정보를 관리한다.

1.3.3 The implementation of the Lift Monitoring

승강기 모니터링 서비스는 승강기와 관리자들의 활동을 실시간으로 추적할 수 있는 환경을 제공하기 위해 socket.io를 활용하여 웹 기반으로 구성한다. 그림2에서 제시된 상태정보의 진행 과정을 통해 승강기와 관리자 접속 및 활동 정보를 모니터링할 수 있다. 그림 6은 모니터링 환경을 보여준다.

Fig. 6. The monitoring web for Lifts and Managers​​​​​​​

1.3.4 The implementation of the emergency call device for the Lift

승강기 내 비상 화상통화 장치는 비상상황 파악과 비상호출을 요청하기 위해 그림 7과 같은 구조를 가진다.

Fig. 7. The Emergency Call Device for the Lift​​​​​​​

승강기 정보 등록 후 승강기 앱은 Online 상태를 유지하며 필요할 때 비상 호출을 요청한다. 비상 호출 요청 시 관리자의 응답을 기다리고 관리자 응답 시 WebRTC 기반의 P2P 미디어 전송 환경을 제공하여 화상통화를 수행한다.

1.3.5 The implementation of the emergency call device for the Managers

관리자 비상 화상통화 장치는 승강기 비상 호출에 대한 응답 장치로 비상상황에 대한 인식과 대상 승강기 인식 접속 과정을 포함한다. 관리자 정보의 등록을 통해 개별 인식 Token이 발생하며, 이 Token을 향후 메시징 서비스를 위해 Signaling Server에 등록된다. 관리자용 비상 화상통화 장치 구현 형태는 그림 8과 같다.

Fig. 8. The Emergency Call Device for the Manager​​​​​​​

관리자용 비상 화상통화 시스템은 Signaling Server를 통해 관리되며 승강기 비상 호출에 대한 응답 처리를 수행한다. 초기화, 연결, 사용자등록, 포그라운드와 백그라운드 상태의 메시지 수신, 승강기 접속과 연결 설정 등에 필요한 상태관리와 기능을 담당한다.

1.3.6 The Environment Analysis of the Emergency Call Devices

승강기용 비상통화 장치는 부품안전 인증 대상으로 국가 승강기 정보센터를 통해 관리된다. 최근까지 15개 제품이 인증되었으며 대부분 PSTN 방식으로 활용되고 있다[6]. 기존 방식과 제안된 방식과의 환경분석 내용은 표 3과 같다. PSTN방식의 기존 비상 통화장치는 음성 이외의 데이터 송수신에 적합하지 않고 지중 선로의 경우 열화 노후로 전화선이 파손되어 동작하지 않는 사례가 빈번히 발생 되고 있다. 승강기 비상통화 장치는 긴급 시 사용 가능한 상태로 항상 모니터링되어야 하며 상황 인식과 전파 그리고 효과적인 대응이 요구된다. WebRTC기반 서비스 구조는 낮은 지연성과 확장성을 제공할 수 있는 기반을 구성할 수 있다.

Table 3. System Environment Analysis for the Emergency Call Devices​​​​​​​

IV. Conclusions

승강기는 현대 사회의 생활 방식에 통합되어 운영되는 필수적 요소로 도시화, 고층화, 노령화, 기술혁신 등의 변화와 요구에 부응하여 다 편리하고 안전하며, 효율적인 이동 수단으로써의 중요성이 강조되고 있다. 본 논문에서는 승강기 안전성과 비상 대응 체계를 강화하기 위해 모니터링을 통한 승강기 관리 모델을 통해 비상상황 시 효율적으로 대처할 수 있는 화상통화 서비스 구현 모델을 제시하였다. 제안된 방식은 WebRTC 기반 화상통화 방식의 서비스 모델로 승강기와 관리자 간의 모니터링 및 효율적 대응과 동시에 설치 의무화된 비상통화 장치의 활용성을 증대시킬 수 있으며 다양한 기능 확장을 통해 신뢰성 있는 승강기 모델을 제공할 수 있을 것이다.