Journal of Internet Computing and Services (인터넷정보학회논문지)

Korean Society for Internet Information (한국인터넷정보학회)
권호 표지
DOI QR코드

DOI QR Code

A Platform Providing Interactive Signage Based on Edge-cloud Cooperation

엣지-클라우드 협업 기반 인터랙티브 사이니지 제공 플랫폼

  • Moon, Jaewon (Information & Media Center, Korea Electronics Technology Institute) ;
  • Kum, Seungwoo (Information & Media Center, Korea Electronics Technology Institute) ;
  • Lee, Sangwon (Department of Interaction Science, Sungkyunkwan University)
  • Received : 2018.07.26
  • Accepted : 2019.01.28
  • Published : 2019.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

Advances in IoT data analysis technology have made it easier to analyze situation and provide interactive services based on the context. Most of digital signage application have been used to provide information uni-directionally, but in the future it will evolve to provide personalized content according to the individual user situation and responses. However, it is not easy to modify or apply the existing interactive digital signage platforms due to their hardware dependency. The proposed platform is modularized by dividing main functions into two, the cloud and the edge, so that advertisement resources can be easily generated and registered. Thus, interactive advertisement can be rendered in a timely manner based on sensor analysis results. At the edge, personal data can be processed to minimize privacy issues, and real-time IoT sensor data can be analyzed for quick response to the signage player. The cloud is easier to access and manage by multiple users than edge. Therefore, the signage content generation module improves accessibility and flexibility by handling advertisement contents in the cloud so that multiple users can work together on the cloud platform. The proposed platform was developed and simulated in two aspects. First is the provider who provides the signage service, and second is the viewer who uses the content of the signage. Simulation results show that the proposed platform enables providers to quickly construct interactive signage contents and responses appropriately to the context changes in real-time.

IoT 데이터 분석 기술의 발전으로 사용자의 상황을 실시간으로 분석하고 분석에 따른 상황 기반 서비스 제공이 가능해졌다. 대부분의 디지털 사이니지는 정보를 일방향으로 제공하기 위한 홍보 목적으로 사용되었지만, 개별 사용자의 상황과 반응에 따라서 개인화된 콘텐츠를 제공하는 방향으로 진화할 것이다. 그러나 기존 인터랙티브 디지털 사이니지 플랫폼은 하드웨어 의존도가 높기 때문에 그 수정이나 응용이 어렵다. 제안하는 플랫폼은 광고 콘텐츠 등록 및 인터랙티브 사이니지 콘텐츠 생성이 용이하면서도 센서 분석 결과에 기반 하여 적시에 광고를 재생 가능하도록 주요 기능들을 클라우드와 엣지에 분리하여 모듈화 하였다. 엣지는 개인 데이터를 직접 처리하여 프라이버시 이슈를 최소화 하면서도 실시간 센서 데이터를 바탕으로 콘텍스트를 분석하여 빠르게 대응이 가능하다. 클라우드는 엣지보다 다수 작업자의 접근 및 관리가 용이하므로 다수가 함께 작업하는 사이니지 콘텐츠 생성은 클라우드 플랫폼에서 처리함으로써 접근성과 유연성을 높였다. 설계된 인터랙티브 사이니지 제공 플랫폼은 사이니지 콘텐츠를 제공하는 제공자와, 사이니지 콘텐츠를 이용하는 시청자 측면에서 테스트를 진행하였으며 콘텍스트 변화에 적시 대응하면서도 빠르게 인터랙티브 사이니지 콘텐츠를 구성할 수 있음을 확인하였다.

Keywords

1. 서론

디지털 사이니지 (Digital Signage)는 디지털 정보 디스플레이를 활용하여 각종 정보와 광고를 전달하는 디지털 게시판을 일컫는다. 네트워크로 연결되어 원격으로 콘텐츠를 제어 하며 초기에는 지하철역, 건물 벽면, 엘리베이터 등 다수가 이용하는 장소에 설치하여 옥외 광고 효과를 높이는 매개체로 사용되었다. 또한 디지털 사이니지는 광고 뿐 아니라. 전시 및 리테일 분야로 그 활용 범위가 확대 되고 있다. 디지털 사이니지 분야는 3D, 증강 현실 등 다양한 매체 유형과 신기술을 포괄하고 있으며[1] 단순 미디어를 노출하는 것에서 시작 했지만, 현재는 인터랙티브 및 상황 인지형 서비스[2]를 제공하는 방향으로 진화 하고 있다.

그러나 이 같은 트렌드의 변화와 기술의 진화에도 불구하고 여전히 광고 분야의 디지털 사이니지를 보편적으로 쉽게 구성하고 활용하는 것은 어려운 실정이다[3]. 그 이유는 광고를 제공하는 플랫폼은 여전히 시간대별로 특정 광고를 노출 하거나, 순서에 따라 콘텐츠를 반복 재생하는 등 비교적 간단한 제어 방식을 제공하는 것에 머물러 있기 때문이다. 인터랙티브나 상황 인지형 서비스 제공이 가능한 디지털 사이니지의 경우 보통 하드웨어 중심으로 설계되어 활용 가능한 상황 콘텍스트가 고정되어 있고, 정해진 시나리오에 따라서 콘텐츠를 노출 할 수밖에 없다. 따라서 이러한 고정적 디지털 사이니지의 경우에는 한번 시나리오가 정해지면 콘텍스트를 자유롭게 확장 한다거나 콘텐츠를 변경하는 것이 어려워 재활용 및 확장과 수정이 어려운 까닭에 일회성으로만 활용된다.

본 논문에서는 디지털 사이니지 기술의 진화를 고려하여 IoT를 이용하여 상황을 인지하고 이에 기반 하여 인터랙티브 사이니지를 제공하는데 있어 저작이 용이하고 콘텍스트 확장이 가능한 플랫폼을 제안하였다. 제안하는 플랫폼은 디바이스 하드웨어의 의존도를 낮추고 필요한 기능과 원하는 콘텍스트를 자유롭게 선택할 수 있어 디지털 사이니지의 응용 및 수정이 용이하다. 또한 플랫폼은 클라우드와 엣지로 분산하여 설계하였다. 외부에서 콘텐츠를 공급받거나 생성하기 위한 모듈은 클라우드에서, 디지털 사이니지 디바이스와 IoT와의 연결, IoT 데이터의 분석은 엣지에서 담당하도록 분산 처리 한다. 이는 클라우드는 콘텐츠를 외부에서 쉽게 공급 받고 디지털 사이니지 콘텐츠 설정을 쉽게 하고, 엣지에서는 빠른 콘텍스트 처리와 네트워크 지연을 최소화 하도록 반응성을 고려하여 디지털 사이니지를 제공할 수 있도록 한다.

본 논문의 2장에서는 관련 연구들을 간략하게 소개하고, 3장에서는 제안하는 전체 플랫폼 구조를 제시하고 세부 모듈 기능과 기술에 대해 설명한다. 4장에서는 플랫폼의 구현 및 실험 결과에 대해 소개한다. 마지막으로 5장에서 결론과 향후 방향을 논의한다.

2. 관련 연구

이번 장에서는 인터랙티브 디지털 사이니지 기술과 클라우드-엣지 협업과 관련한 기존 기술에 대해 관련 연구를 소개한다.

2.1 인터랙티브 디지털 사이니지 기술

디지털 사이니지는 디지털 매개체를 통해 콘텐츠와 메시지를 전달하는 미디어를 의미한다[4]. 네트워크 인프라의 발전으로 원격 제어 가능한 디스플레이를 공공장소에 설치하여 다양한 콘텐츠를 제공하고 있으며 주로 광고나안내를 제공하는 목적으로 사용하고 있다. 최근에는 단순히 정보를 전달하는 것이 아니라 양방향 커뮤니케이션이 가능한 정보 매체로 진화함으로써 그 정보 제공 효과를 더욱 높이고 있다.

디지털 광고를 제공하는 방법으로는 크게 네트워크 및 하드웨어의 제약을 고려한 방법[5], 사용자의 상황을 고려하여 광고를 제공하는 방법[6,7], 콘텐츠를 상황에 맞게 수정하여 제공하는 방법[8], 중앙에서 일괄적으로 제어하는 방법[9], 이러한 콘텐츠를 스케쥴링 하고 이를 콘텍스트에 적응적으로 효과적으로 보여줄 수 있는 혼합 방법[10] 등에 대한 연구가 최근 몇 년간 진행된 것으로 보고되었다. 디지털 사이니지는 시스템 구성 및 형태, 콘텐츠 내용에 따라 구분할 수 있으며 현재의 방식은 단방향이 대부분이지만 점차 광고 효과를 높이기 위한 상호작용기반 디지털 사이니지로의 진화가 이루어질 것으로 전망된다.

2.2 클라우드-엣지 협업 기술

클라우드 플랫폼의 발전으로 말미암아, 최근에는 대부분의 데이터를 클라우드에서 관리하고 분석 하는 것이 일반적이 되었다[11]. 하지만 클라우드에서 대부분의 작업이 이루어질 경우 서비스가 네트워크 연결 상태에 의존적일 수밖에 없기 때문에[12], 네트워크에 문제가 발생할 경우 서비스 이용 자체가 어려울 수 있다.

그리고 데이터가 모두 클라우드로 전송되어야 하므로 개인 정보가 침해될 위험이 상대적으로 높다[13]. 또한 비디오 데이터와 같은 대용량 데이터를 전송할 경우 밴드위스 점유 문제로 인해 네트워크 트래픽[14]이 증가하여 문제가 발생할 수 있다[15]. 데이터를 저장, 분석, 제어 할 경우 매번 클라우드를 통해서 결과를 제공 받기 때문에 응답 지연 문제도 발생할 수 있다[16,17]. 실시간으로 반응해야 하는 서비스의 경우 지연 문제는 서비스 품질에 악영향을 미친다.

OTJBCD_2019_v20n2_39_f0001.png 이미지

(그림 1) 인터랙티브 디지털 사이니지 제공 플랫폼(Figure 1) Platform providing Interactive Digital Signage

이러한 클라우드의 단점으로 인해, 최근 IoT Data 저장과 분석을 어디에서 어떻게 해야 하는지 결정하는 이슈가 활발하게 논의되고 있다[18,19]. 엣지 컴퓨팅[20,21]은클라우드 플랫폼에서의 저장과 분석에 따른 문제점을 해결하기 위한 대안으로[22,23] 물리적으로 센서와 가까운 곳에 있는 컴퓨팅 자원이 데이터를 저장하고 연산하는 것을 의미한다. 그러므로 네트워크 연결 문제에 독립적이고 트래픽으로 부터의 영향이 적다[24]. 또한 데이터의 로컬 저장이 가능하기 때문에 개인 정보 보호 문제에 강인하며 상대적으로 빠르게 응답이 가능하다[25]. 그러나 엣지는 여러 사용자가 동시에 접근하는 것이 어렵고, 그로 인해 서비스의 관리가 상대적으로 어렵다[26].

그러므로 본 논문에서는 서비스의 활용과 관리가 용이하도록 광고 리소스 관리 및 콘텐츠 생성은 클라우드에서 하지만, 네트워크 트래픽의 영향을 최소화 하고 개인정보 보호가 가능하도록 분석 및 콘텐츠 관리는 엣지에서 담당하도록 플랫폼 구조를 이분화 하여 설계하였다. 이는 클라우드와 엣지의 장단점을 적절히 보완하면서도 유연한 구조의 서비스를 제공 가능하게 한다.

3. 클라우드-엣지 협업 기반 인터랙티브 디지털 사이니지 플랫폼

이번 장에서는 디지털 사이니지 콘텐츠를 유연하게 관리하고 인터랙티브 사이니지를 효율적으로 제공할 수 있는 플랫폼 구조와 그 기능에 대해서 설명한다.

3.1 기본 플랫폼 구조

본 논문에서 제안하는 인터랙티브 디지털 사이니지 플랫폼은 그림 1과 같이 클라우드 플랫폼과 엣지 플랫폼의 협업을 기반으로 구성되어 있다. 리소스 생성자(광고주나콘텐츠 개발자 등)는 다수의 크라우드 소싱이 가능한 리소스 등록 도구를 활용하여 사이니지 리소스를 등록한다. 사이니지 생성자는 클라우드 상에 등록된 개별 광고 리소스들과 콘텍스트 기반 페이지 구성 및 관리 도구를 이용하여 인터랙티브 사이니지 콘텐츠를 생성한다.

그리고 생성된 사이니지 정보와 콘텐츠들을 적절한 엣지로 배포한다. 엣지는 물리적으로 가까운 곳에 위치한 다수의 플레이어들을 관리하며 클라우드에서 배포된 정보와 다양한 콘텍스트를 기반으로 하여 각각의 개별 사이니지 플레이어들에게 필요한 광고 정보만 선별/배포한다.

그림 2는 클라우드 엣지 협업에 기반하여 광고 콘텐츠와 분석된 콘텍스트를 활용 하는 플로우를 나타낸다. 본 논문에서 제안하는 플랫폼의 이름은 편의상 M-Sign Platform이라 정의하였다.

OTJBCD_2019_v20n2_39_f0002.png 이미지

(그림 2) 클라우드-엣지 협업 기반 광고 제공 M-Sign 플랫폼(Figure 2) Cloud-Edge Collaborative M-Sign Systemproviding Signage Contents

M-Sign Platform 주요 세부 모듈과 그 특징은 표 1에서 정리하였다. M-sign Platform은 앞서 설명한 바와 같이 크게 클라우드와 엣지 플랫폼으로 구분된다. 클라우드의 주요 기능은 M-Sign Organizer를 사용하여 사이니지 콘텐츠셋을 생성하고 M-Sign Cloud Manager를 통해 적절한 엣지 플랫폼에 사이니지 콘텐츠 셋을 전달하는 것이다. 사이니지 콘텐츠 셋은 개별 사이니지 플레이어가 언제 어떤 상황에서 어떤 콘텐츠를 타겟하여 제공할 것인지에 대해 정보를 포함하고 있다. M-sign Edge Manager는 M-sign Cloud Manager와 통신하며 필요한 정보를 제공 받는다. M-Sign Edge Manager는 근거리에 있는 플레이어들(M-Sign Player)을 제어하며 각각의 플레이어를 시청하는 사용자의 상황에 맞는 콘텐츠들을 재배포한다.

(표 1) M-Sign 플랫폼 세부 모듈 설명(Table 1) Function of Cloud Module of M-Sign Platform

OTJBCD_2019_v20n2_39_t0001.png 이미지

엣지 설치 공간에 한정된 프라이빗 정보는 M-Sign Analyzer에서 분석하여 M-Sign Manager로 해당 정보를 전달한다. M-Sign Manager는 엣지 공간에서 발생하는 콘텍스트 테이블을 관리하고 이에 기반 하여 M-Sign Player가 적절한 콘텐츠를 제어하도록 명령을 내린다.

엣지에서 커버 불가능한 콘텍스트 정보 (예: 공공 정보)의 경우 클라우드의 External Context Crawler가 해당 정보를 추가로 M-Sign Edge Manager에 전달한다. 본 논문에서는 M-Sign Sensor를 비디오 센서로 한정하여 실험하였으나 콘텍스트를 기반으로 동작하므로, 다른 특성의 IoT 데이터에 대해서도 유연하게 추가 확장이 가능하다.

3.2 M-Sign Cloud

3.2.1 M-Sign Organizer

M-Sign Organizer는 광고 시청자들의 콘텍스트에 기반하여 인터랙티브하게 콘텐츠가 제공될 수 있도록 사이니지 셋을 제작하는 저작 도구이다. 다수의 M-Sign Edge와 이에 기반한 M-Sign Player들을 관리할 수 있도록 광고 플레이리스트를 생성 관리한다.

OTJBCD_2019_v20n2_39_f0003.png 이미지

(그림 3) M-Sign Organizer (Figure 3) M-Sign Organizer

그림 3은 M-sign Organizer의 프로토타입 화면이다. 우측 아래 A 구간에 개별 광고주들이 등록한 리소스들을 확인할 수 있다. 개별 광고주들은 사이니지 셋 구성과는 무관하게 개별 광고 콘텐츠들을 등록하면 된다. 사이니지셋 생성자, 즉 광고를 직접 제공하는 제공자는 엣지에 소속된 개별 플레이어들이 특정사용자들의 상황에 맞게 어떤 광고를 어떻게 보여줄 것인지에 대한 정보를 포함하는 사이니지 셋을 생성한다. 그림 3의 좌측 B, C 구간은 이렇게 생성된 사이니지셋의 구조를 시각화 한 것이다. 사이니지셋은 디폴트 콘텐츠 영역과(B), 인터랙티브 콘텐츠 영역(C)로 구성되어 있다. 개별 사용자의 콘텍스트가 확인되지 않을 경우에는 (B) 구역의 디폴트 콘텐츠가 재생되고, 콘텍스트가 확인 되었는데 해당 콘텍스트에 기반한 인터랙티브 광고 콘텐츠가 있다면 (C) 영역에서 적절한 콘텐츠를 선별하여 재생하게 된다. 이때 콘텐츠 재생이 끝나 콘텍스트 변화가 없더라도 동일 사용자의 이벤트(움직임, 행동)에 따른 인터랙티브 콘텐츠 재생을 원할 경우 콘텐츠 리스트를 추가로 생성하게 된다.

M-Sign Organizer에서 새로운 콘텍스트를 생성하고 그밸류를 유연하게 확장하며 이를 인터랙티브 사이니지 제공에 적용하기 위해서 그림 4와 같이 사이니지셋 정보 구조를 정의하였다. 즉 인터랙티브 사이니지 제공시 기준이 되는 콘텍스트의 값과 그 밸류가 변경이 되더라도 이를메타데이터 형태로 관리하여 엣지와 플레이어에게 정보를 전달하기 때문에, 어떤 센서나 콘텍스트를 사용하더라도 유연하게 변경이 가능하도록 설계하였다.

OTJBCD_2019_v20n2_39_f0006.png 이미지

(그림 4) M-Sign Organizer 사이니지셋 정보 구조(Figure 4) M-Sign Organizer Signage Set Information Structure

3.2.2 M-Sign Cloud Manager

M-Sign Cloud Manager는 M-Sign Organizer에서 정의한 인터랙티브 사이니지 정보의 재생 규칙을 엣지가 해석 가능한 포맷으로 재가공 한다. M-Sign Cloud Manger는 사이니지 셋의 규칙을 엣지가 해석 가능한 json 포맷으로 재구성하고 각각의 엣지에 필요한 정보만 선별하여 M-Sign Edge Manager에게 전송하면 M-Sign Edge Manager는 다시 내부 개별 데이터베이스에 저장하고 관리한다. 또한 사이니지 인터랙티브 룰 뿐만 아니라 콘텐츠 주소를 포함하고 있어, M-Sign Edge Manager로 해당 콘텐츠를 전송한다. 이는 플랫폼이 비교적 용량이 큰 동영상 포맷을 다루기 때문에 네트워크 환경 변화에 비교적 자유로울 수 있도록 클라우드와 엣지 단에 모두 저장하고 필요시 URL로 접근하는 방식을 적용하였다.

3.3 M-Sign Edge

3.3.1 M-Sign Analyzer

M-Sign Analyzer는 M-Sign Edge Manager와 통신하며실시간 분석되는 결과를 전송하는 역할을 수행한다. 본 논문에서는 엣지가 존재하는 물리적 공간의 카메라 시야각 내에 존재하는 사용자를 광고 타겟 시청자로 정의하고, 영상 데이터를 분석한 콘텍스트 결과를 플랫폼에 반영하도록 하였다. 그림 5는 M-Sign Analyzer가 카메라 센서를 사용하여 분석한 결과를 M-sign Manger와 통신하고 Player를 제어하는 흐름을 나타낸다. M-Sign Analyzer는 먼저 카메라 시야각 내에 존재하는 사용자를 검출하고 각각의 고유 사용자에게 ID를 부여한다. ID를 부여한 사용자들에 대해 이탈 상황을 확인하여 관리하고 성별과 나이를 예측하였다.

OTJBCD_2019_v20n2_39_f0005.png 이미지

(그림 5) 클라우드-엣지 협업 기반 광고 제공 M-Sign 플랫폼(Figure 5) Cloud-Edge Collaborative M-Sign Systemproviding Signage Contents

본 논문에서는 검출 기반 추적 알고리즘에 기반 한 다중 얼굴 추적 시스템[27]을 적용하였다. 광고의 경우 객체가 빠르게 진입/이탈 한다는 특성이 있는데 기존 마르코프 결정 프로세스 방법 사용시 객체들에 대한 정합 문제가 발생하므로 이를 해결하기 위해 의복 부분 색상 정보를 추가로 사용하여 새로운 얼굴 객체간 거리를 정의하고 문제를 개선하도록 하였다.

검출된 얼굴 영상은 성별과 나이 추정에 사용된다. 광고는 조명, 얼굴 크기, 표정 등이 다양한 환경에서 나이와 성별을 추정하므로 실험 환경보다 상대적으로 예측이 어렵다. 그러므로 층이 깊은 합성곱 신경망에서 발생하는 vanishing gradient 문제를 최소화 하는 residual learning 방법을 적용하여 깊은 신경망에서 발생할 수 있는 최적화 문제를 최소화 하였다[28,29].

본 논문의 M-Sign Analyzer는 영상에 존재하는 최대 3명의 인물에 대해 나이/성별 콘텍스트를 예측하되, 처음으로 진입하는 사용자의 성별과 나이 콘텍스트를 기준으로 광고를 제공한다. 광고 시청자의 진입/이탈 기준은 시청자의 얼굴 영역이 모두 진입 혹은 모두 이탈 하는 것을 기준으로 정의하였다.

광고 제공 특성상 적시에 상황을 분석하고 빠르게 피드백을 제공해야 하므로 자원 관리가 민감한 요소로 작용한다. 그러므로 위에서 언급한 두 가지 알고리즘을 효율적으로 사용하기 위해 나이 성별 추정 시 multi-threading을 이용하여 계산 자원을 효율적으로 활용하도록 하였다. 추적한 얼굴이 화면 내에 진입한 직후 초기에만 연속적으로 5번의 나이 및 성별을 추정하고 추정된 결과를 기반으로 나이의 경우 중앙값, 성별의 경우 최빈값을 추적 대상의 나이 성별 콘텍스트 값으로 사용자 이탈 직전까지 사용하였다. 이는 정확한 상황 분석도 중요하지만 그와 동시에 적시 광고 제공을 위한 빠른 분석과 응답, 그리고 사용자에게 일관된 콘텐츠를 제공해야 하기 때문이다.

3.3.2 M-Sign Player

M-Sign Player는 사전에 정의된 디지털 사이니지 셋 규칙과 엣지와 통신하여 얻어온 현재 광고 시청자의 콘텍스트 정보에 따라 영상을 재생한다. M-Sign Player가 실행되면 M-Sign Edge Manager와 자동으로 소켓으로 연결되고 플레이어에 해당하는 재생 목록 셋과 연관된 미디어 리스트를 전송 한다. M-Sign Player는 플레이 리스트에 해당하는 콘텐츠들을 미리 다운로드 하여 광고 재생을 위한 지연 시간을 최소화 한다.

M-Sign Edge Manager는 사용자가 진입/이탈할 경우 타겟 사용자에 대한 콘텍스트 정보를 소켓으로 연결되어 있는 플레이어에게 전송한다. 타겟이 진입한 뒤 이탈 정보가 전달되지 않으면 플레이어는 자동으로 타겟이 계속엣지 공간상에 존재(Stay) 한다고 판단한다. 여러 명의 사용자가 동시에 진입/이탈 하는 광고 시청 환경에서 오류 없이 효과적으로 콘텐츠를 전달하기 위해, 본 논문에서는 기존 타겟이 없을 경우 맨 처음으로 영상 내에서 객체가 인식되고 성별/나이가 추정된 경우의 사용자를 타겟으로 정의하였다. 한번 광고 타겟이 설정되면 타겟이 이탈하기 전까지는 다른 객체들이 인식되더라도 타겟이 될 수 없다. 타겟이 이탈한 경우 기존 영상에 존재하는 객체가 아닌 새롭게 진입한 객체만 새로운 타겟으로 인식된다. 이는 빠른 진입/이탈 및 여러 사람이 동시에 사용하는 광고 시청 환경에서 혼란스러운 의사 결정 과정 없이 일관성 있게 광고 재생이 가능하도록 한다.

또한 현재 재생되는 콘텐츠의 재생이 종료된 경우 타겟의 상태를 조회하고 다시 콘텍스트에 적응적으로 콘텐츠를 바꿔 재생하는 방식을 따르는 경우, 새로운 타겟을 인식하더라도 이전 타겟에 의거한 콘텐츠가 제공되는 오류가 발생한다. 그러므로 광고 콘텐츠는 타겟의 진입과 이탈 시점을 기준으로 동영상 선택 및 재생을 컨트롤 한다.

4. M-Sign Platform 실험 결과

본 연구는 여러 명의 사용자의 진입/이탈이 있는 환경에서 적절한 광고 타겟을 찾고 그 타겟과 현재 콘텍스트에 적절한 광고물을 제공하는지에 대해 제안하는 플랫폼을 사용하여 실험을 진행하였다. 국내 클라우드 업체가 제공하는 범용 클라우드 시스템에 클라우드 플랫폼을 설치하였으며, 엣지 디바이스는 리눅스 운영체제, I 7-77003.6Ghz CPU를 사용하였다. 타겟이 설정된 경우 타겟에 대한 특성은 콘텍스트와 이벤트로 분류하였으며 콘텍스트는 타겟이 갖고 있는 고유한 정보, 이벤트는 타겟이 갖고 있는 변화 가능한 정보를 의미한다. 이를 기반하여 다음과 같이 광고 콘텐츠 제공 가능 시나리오를 정의 하였다.

(표 2) 콘텍스트 변화에 따른 DB 업데이트 및 광고 콘텐츠 재생 결과 테이블(Table 2) Advertisement Content Table according to Context Change

OTJBCD_2019_v20n2_39_t0002.png 이미지

- (초기화) 타겟이 없는 경우, 디폴트 광고 콘텐츠들 중에서 랜덤하게 콘텐츠를 재생한다.

- (타겟 인식) 타겟이 진입하고 인식된 경우, 해당 타겟의 현재 콘텍스트를 확인한다. 한번 타겟이 인식되면 이탈하기 전까지 타겟을 변경하지 않는다.

- (콘텍스트셋 기반 광고) 타겟이 플레이리스트에 해당하는 콘텍스트 셋의 조건을 만족할 경우 해당 콘텐츠를 재생한다.

- (이벤트 기반 광고) 동일한 사용자가 이탈 없이 이벤트를 발생할 경우 이에 의거한 콘텐츠를 재생한다.

- (타겟 이탈) 타겟 이탈시 초기화 상태로 돌아가고 새로운 진입한 사용자를 다시 인식할 경우 타겟으로 정의한다.

(표 3) Context 테이블(Table 3) Context Table  

(표 4) 응답 평균 시간(Table 4) Average Response Time

실험을 위해서 사용한 콘텍스트는 표3과 같이 5개의콘텍스트, 총18개의 Context Value에 대해서 실험을 진행하였다. 표 2는 콘텍스트의 변화에 따른 콘텐츠 재생에 대한 실험 결과를 나타낸다. 새로운 콘텍스트가 인식될 경우 기존의 콘텍스트 정보와 비교하여 변화된 콘텍스트를 DB에 업데이트 하여 이에 기반하여 콘텐츠를 재생하였다. 그 결과 21번의 서로 다른 콘텍스트 입력 시뮬레이션 테스트에서 평균 0.6ms의 속도로 콘텍스트 기반 콘텐츠를 판단하여 재생하는 것을 확인할 수 있었다.

표 4는 실제 7명의 광고 시청자에 대해 각각 20회 해당 플랫폼의 진입 및 이탈 테스트한 결과를 나타낸 테이블이다. 엣지에서 최초 얼굴을 인식하면, 그에 따른 성별과 나이를 분석하고 전송하여 응답까지 걸린 전체 시간 평균은 1.57초가 소요되었다. 즉 시청자에 대한 빠른 분석처리 및 그에 따른 인터랙티브 콘텐츠 제공이 가능함을 확인할 수 있었다. 이후 1명의 광고 시청자에 대해서 엣지가 아닌 클라우드에서 분석을 하는 경우에 대해 10회테스트를 추가로 진행하였다. 최초 얼굴 인식부터 사이니지 디스플레이에 신호를 전송하여 응답하는데 전체 처리시간의 평균은 4678.10ms였다. 즉 분석에 대한 시간 처리는 다소 줄일 수 있었으나, 네트워크 처리에 따른 지연 시간 발생으로 상대적으로 실시간 광고 제공이 어려울 수 있음을 실험을 통해 확인할 수 있었다.

또한 본 논문에서 플랫폼과 함께 제안한 클라우드 기반 저작도구에 대해 5명의 사용자에게 사용 편의성 테스트를 진행하였다. 한 사용자 당 15개의 광고 콘텐츠를 리소스로 사용하여 2개의 인터랙티브 사이니지셋을 생성하도록 타스크를 설정하고 테스트한 결과 저작에 평균 3분58초가 소요되었다. 본 논문에서 제안하는 클라우드-엣지인터랙티브 사이니지 제공 플랫폼을 사용한다면 해당 기술에 익숙하지 않은 제작자도 빠르고 쉽게 인터랙티브 사이니지 광고를 제공 가능할 수 있음을 확인할 수 있었다.

5. 결론

본 논문에서는 클라우드 플랫폼 기반 디지털 사이니지셋 저작 및 관리 모듈과, 엣지에 기반한 분석 및 광고 제공 모듈이 서로 협업하는 인터랙티브 디지털 사이니지광고 제공 플랫폼을 제안하였다. 제안하는 플랫폼은 콘텍스트 인식을 위한 센서 디바이스들의 하드웨어 의존성을 없애 콘텍스트의 확장과 활용을 용이하도록 하였다. 또한클라우드 기반으로 사이니지셋 생성이 가능므로 기반 기술에 대한 이해가 부족한 사람들도 손쉽게 인터랙티브 사이니지 콘텐츠 생성이 가능하도록 설계되었다. 설계된 플랫폼은 성별/연령 및 기타 콘텍스트 정보 분석 결과를 사용하여 광고를 제공하도록 실험을 진행하였으며, 그 결과 빠르고 쉽게 사이니지 콘텐츠를 생성하고 이에 의거하여 실시간 인터랙티브 광고 제공이 가능함을 확인할 수 있었다.

제안하는 플랫폼은 클라우드와 엣지로 그 역할을 분산함에 따라 외부 콘텐츠의 공급 및 콘텍스트 활용은 용이하면서도 IoT 분석 및 사이니지 플레이어는 엣지에서 담당함으로써 빠른 처리 및 실시간 응답이 가능하다. 관련 기술은 서비스 제공을 위해 협업 및 빠른 콘텐츠 업데이트 능력과 로컬에서의 빠른 분석 능력이 필요한 유사한 서비스에서도 확대 활용이 가능할 것이다.

References

  1. Seung-Chul Yoo, Jeewon Min and Hye-Hyung Hwang, "The State and Trend of Digital Signage Research in Korea," JOURNAL OF THE KOREA CONTENTS ASSOCIATION, Vol. 16, No. 10, pp. 745-757, Oct, 2016. https://dx.doi/org/10.5392/JKCA2016.16.10.745
  2. Cha, Seung Hwa, "A Case Study for the Digital Signage Application of Fast-food Restaurant in Korea - McDonald"s Signature Burger Platform Case," Journal of Digital Design, Vol. 16, No. 4, pp. 69-81, Dec, 2016.
  3. Um, Joo Hee, "A study on the interaction types of interactive advertising based on the digital signage," KOREA SCIENCE & ART FORUM, Vol. 14, pp. 271-284, Dec, 2013.
  4. MULLER, Jorg, et al. Display blindness: The effect of expectations on attention towards digital signage. In: International Conference on Pervasive Computing. Springer, Berlin, Heidelberg, p. 1-8, 2009. https://doi.org/10.1007/978-3-642-01516-8_1
  5. HARRISON, John V.; ANDRUSIEWICZ, Anna. Enhancing digital advertising using dynamically configurable multimedia. In: icme. IEEE, p. 717-720, 2003. https://doi.ieeecomputersociety.org/10.1109/ICME.200 3.1221018
  6. DI FERDINANDO, Antonio, et al. MyAds: A system for adaptive pervasive advertisements. Pervasive and Mobile computing, 5.5: 385-401, 2009. https://doi.org/10.1016/j.pmcj.2009.06.006
  7. RIBEIRO, Fernando Reinaldo; JOSE, Rui. Autonomous and context-aware scheduling for public displays using place-based tag clouds. In: Ambient Intelligence and Future Trends-International Symposium on Ambient Intelligence (ISAmI 2010). Springer, Berlin, Heidelberg, pp. 131-138, 2010. https://doi.org/10.1007/978-3-642-13268-1_16
  8. ROGERS, Alex, et al. An advanced bidding agent for advertisement selection on public displays. In: Proceedings of the 6th international joint conference on Autonomous agents and multiagent systems. ACM, pp. 51, 2007. https://doi.org/10.1145/1329125.1329186
  9. ELHART, Ivan, et al. "Control and scheduling interface for public displays," In: Proceedings of the 2013 ACM conference on Pervasive and ubiquitous computing adjunct publication, ACM, pp. 51-54, 2013. https://doi.org/10.1145/2494091.2494106
  10. TANIGUCHI, Yukinobu, "Content Scheduling and Adaptation for Networked and Context-Aware Digital Signage: A Literature Survey," ITE Transactions on Media Technology and Applications, 6.1: 18-29, 2018. https://doi.org/10.3169/mta.6.18
  11. CUSUMANO, Michael, "Cloud computing and SaaS as new computing platforms," Communications of the ACM, 53.4: 27-29, 2010. https://doi.org/10.1145/1721654.1721667
  12. ARMBRUST, Michael, et al. "A view of cloud computing," Communications of the ACM, 53.4: 50-58, 2010. https://10.1145/1721654.1721672
  13. TAKABI, Hassan; JOSHI, James BD; AHN, Gail-Joon, "Security and privacy challenges in cloud computing environments," IEEE Security & Privacy, 6: 24-31, 2010. https://dor.org/10.1109/MSP.2010.186
  14. BENSON, Theophilus; AKELLA, Aditya; MALTZ, David A., "Network traffic characteristics of data centers in the wild," In: Proceedings of the 10th ACM SIGCOMM conference on Internet measurement. ACM, pp. 267-280, 2010. https://doi.org/10.1145/1879141.1879175
  15. ZHANG, Qi; CHENG, Lu; BOUTABA, Raouf, "Cloud computing: state-of-the-art and research challenges," Journal of internet services and applications, 1.1: 7-18, 2010. https://doi.org/10.1007/s13174-010-0007-6
  16. PIAO, Jing Tai; YAN, Jun, "A network-aware virtual machine placement and migration approach in cloud computing," In: Grid and Cooperative Computing (GCC), 2010 9th International Conference on. IEEE, pp. 87-92, 2010. https://10.1109/GCC.2010.29
  17. HASHEM, Ibrahim Abaker Targio, et al. "The rise of "big data" on cloud computing: Review and open research issues," Information systems, 47: 98-115, 2015. https://doi.org/10.1016/j.is.2014.07.006
  18. BONOMI, Flavio, et al. "Fog computing and its role in the internet of things," In: Proceedings of the first edition of the MCC workshop on Mobile cloud computing. ACM, pp. 13-16, 2012. https://doi.org/10.1145/2342509.2342513
  19. ROMAN, Rodrigo; LOPEZ, Javier; MAMBO, Masahiro. Mobile edge computing, fog et al. "A survey and analysis of security threats and challenges," Future Generation Computer Systems, 78: 680-698, 2018. https://doi.org/10.1016/j.future.2016.11.009
  20. SHI, Weisong, et al. "Edge computing: Vision and challenges," IEEE Internet of Things Journal, 3.5: 637-646, 2016. https://doi.org/10.1109/JIOT.2016.2579198
  21. BECK, Michael Till, et al. "Mobile edge computing: A taxonomy," In: Proc. of the Sixth International Conference on Advances in Future Internet, Citeseer, pp. 48-55, 2014.
  22. HU, Yun Chao, et al. "Mobile edge computing-A key technology towards 5G," ETSI white paper, 11.11: 1-16, 2015.
  23. TANG, Bo, et al. "A hierarchical distributed fog computing architecture for big data analysis in smart cities," In: Proceedings of the ASE BigData & SocialInformatics, ACM, pp. 28, 2015. https://doi.org/10.1145/2818869.2818898
  24. ZEYDAN, Engin, et al. "Big data caching for networking: Moving from cloud to edge," IEEE Communications Magazine, 54.9: 36-42, 2016. https://doi.org/10.1109/MCOM.2016.7565185
  25. GARCIA LOPEZ, Pedro, et al. "Edge-centric computing: Vision and challenges," ACM SIGCOMM Computer Communication Review, 45.5: 37-42, 2015. https://10.1145/2831347.2831354
  26. YU, Wei, et al. "A survey on the edge computing for the Internet of Things," IEEE access, 6: 6900-6919, 2018. https://10.1109/ACCESS.2017.2778504
  27. KWON, Hyuk Jin, et al. "Multiple face tracking method in the wild using color histogram features," In: 2017 IEEE International Symposium on Signal Processing and Information Technology (ISSPIT). IEEE, pp. 051-055, 2017. https://doir.org/10.1109/ISSPIT.2017.8388318
  28. LEE, Seok Hee, et al. "Age and gender estimation using deep residual learning network," In: Advanced Image Technology (IWAIT), 2018 International Workshop on. IEEE, pp. 1-3, 2018. https://10.1109/IWAIT.2018.8369763
  29. HOSSEINI, Sepidehsadat, et al. "Age and gender classification using wide convolutional neural network and Gabor filter," In: Advanced Image Technology (IWAIT), 2018 International Workshop on. IEEE, pp. 1-3, 2018. https://doi.org/10.1109/IWAIT.2018.8369721