DOI QR코드

DOI QR Code

The Effect of Eye Contact on User Experience in Synchronous Online Communication

실시간 온라인 커뮤니케이션에서 눈 맞춤이 사용자 경험에 미치는 영향

  • 신효림 (연세대학교 정보대학원 UX트랙) ;
  • 이소연 (연세대학교 정보대학원 UX트랙) ;
  • 최준호 (연세대학교 정보대학원 UX트랙)
  • Received : 2021.06.14
  • Accepted : 2021.08.01
  • Published : 2021.08.28

Abstract

The spread of non-face-to-face culture due to COVID-19 led to innovation in untact services and the increase of non-face-to-face communication through video conference platforms. However, it is difficult to identify nonverbal expressions in synchronous online communication. Moreover, it is hard to interact with people by making eye contact. Despite the positive effects of eye contact, including such as sharing emotions and helping build intimacy, no research has empirically verified the effectiveness of eye contact in synchronous online communication. Thus, the study verified the effectiveness of eye contact in synchronous online communication. Depending on the context of the communication and whether(or not) there is eye contact, six video treatments were used to measure four dependent variables-Continuance Intention to Use, Performance Expectancy, Interactivity, and Personal Connection. The study shows that the communication with eye contact in all contexts was rated higher than the one without eye contact in all measurement variables. This study will help to provide a better user experience in synchronous online communication by verifying the effectiveness of eye contact in synchronous online communication and proposing the need of technology and the direction of the technological development.

COVID-19로 인한 비대면 문화의 확산은 언택트 서비스 혁신과 화상회의 플랫폼을 통한 비대면 커뮤니케이션 확대로 이어졌다. 그러나 실시간 온라인 커뮤니케이션에서는 비언어적 표현을 확인하는 것이 어려워졌고, 특히나 눈 맞춤을 통한 상호작용은 불가능한 상황이다. 감정을 공유하고 친밀감을 쌓는데 도움을 주는 등 눈 맞춤의 긍정적인 효과가 있음에도 불구하고 실시간 온라인 커뮤니케이션에서 눈 맞춤의 효과를 실증적으로 검증한 연구는 전무한 실정이다. 이에 이 연구는 실시간 온라인 커뮤니케이션에서 눈 맞춤의 효과를 검증하고자 하였다. 커뮤니케이션의 맥락과 눈 맞춤 유무에 따라 6가지 영상 처치물을 사용하여 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감을 측정하였다. 연구결과, 모든 맥락에서 눈 맞춤이 없을 때보다 눈 맞춤이 있을 때 모든 측정 변인에서 높게 평가되었다. 이 연구는 실시간 온라인 커뮤니케이션에서 눈 맞춤의 효과를 실험을 통해 검증하고 기술의 필요성과 발전 방향을 제안하여 실시간 온라인 커뮤니케이션에서 더 나은 사용자 경험을 제공하는데 기여할 것이다.

Keywords

I. 서론

포스트 코로나는 글로벌 팬데믹의 극복 후 마주하게 될 새로운 시대와 상황을 이르는 말이다. 인류의 역사를 코로나 이전(B.C. Before Corona)과 코로나 이후 (A.C After Corona)로 구분해야 한다[1]고 할 정도로이미 포스트 코로나 시대로의 변화는 시작되었다. 이러한 변화를 가속화한 것은 ‘일상의 비대면화’로, 바이러스의 확산을 막기 위해 사람 간 대면 접촉을 줄여야만 했고, 이는 언택트(Untact) 즉, 비대면 문화의 확산으로 이어졌다.

비대면 문화의 확산은 그동안 활발한 논의는 이루어져 왔지만 일상생활에는 더디게 적용되던 4차 산업혁명의 초연결, 초지능을 가속화한 추진 동기가 되었다 [2]. 인공지능, 5G, VR 등 ICT 기술 혁신으로 COVID-19 이후 변화가 클 8대 산업 영역에 ‘헬스케어’, ‘교육’, ‘교통’, ‘물류’, ‘제조’, ‘환경’, ‘문화’, ‘정보 보안’이 꼽혔으며[3], 직접적인 일상의 혁신은 ‘재택근무 의무화’, ‘원격수업 급부상’, ‘구독서비스 보편화’, ‘현실화된 원격의료’인 것으로 나타났다[4]. 전 세계가 언택트로 디지털 기술혁신을 실험하고 있으며 국내에서도 재택 근무, 온라인 수업, 원격 의료가 대표적인 언택트 서비스로 혁신이 진행되고 있다[2].

재택 근무 경험은 협업 플랫폼이 등장 및 발전하는 계기가 되었다. 온라인 수업은 교육에 적합한 플랫폼의 부재와 수요를 동시에 보여주었고, 이는 SKT, 네이버 등 국내의 IT 기업들의 실시간 온라인 교육용 플랫폼 개발로 이어졌다. 원격 진료의 일시적 허용은 원격 의료 플랫폼을 통한 원격 상담을 가능하게 했다. 원격 진료에 대한 이용자 만족도가 높고[5], 비대면 진료에 대한 높은 기대와 이용의도를 가지고 있는 것으로 나타났다[6]. 따라서 대표적인 언택트 서비스가 일상생활에 잘 적용될 수 있도록 관련 기술 개발과 연구가 지속적으로이루어져야 한다.

한편, 비대면 문화의 확산은 개개인의 일상생활을 180도 바꾸었다. 1년 넘게 온라인 교육을 듣고 있는 아동과 청소년은 학교생활의 부재로 친밀한 또래 관계를 형성하기 어렵고 교사와의 상호작용도 떨어져 사회성발달의 기회를 잃어버렸으며, 기초 학력 저하 우려까지 나타나고 있다[7-10]. 대학생 역시 온라인 비대면 학습환경에서 학교 적응과 교수와 눈을 맞추고 소통하는 것에 어려움을 겪고 있으며 교수 또한 강의 전달에 어려움을 겪고 있는 실정이다[11-13]. 직장인은 재택 근무 경험 자체에는 만족하는 편인 것으로 나타났으나 [14-16], 재택 근무로 원활한 의사소통이 어려워지면서 업무 생산성이 떨어진다고 평가하였다[15][16].

온라인 커뮤니케이션에서 제스쳐, 눈 맞춤, 몸짓 등 의사소통의 비언어적 표현들을 확인하기 위한 노력은 피로를 높인다[17]. Microsoft의 실험에서도 화면에 계속 집중해야 하는 것과 줄어든 비언어적 표현이 피로감을 유발한다고 보고하고 있다[18]. 온라인 커뮤니케이션에서는 발화자가 항상 카메라를 보며 말하지 않기 때문에 청자 입장에서는 발화자의 시선 처리가 부자연스럽게 느껴진다. 이는 강력한 상호작용 신호인 눈 맞춤이 제대로 이루어지지 않고, 오히려 원활한 커뮤니케이션에 방해가 될 수 있다는 것을 보여준다[19]. 이처럼 눈 맞춤의 중요성에도 불구하고 실시간 온라인 커뮤니케이션 시스템에서 시선 처리를 위한 인터페이스 적용은 미비하며, 그 효과에 대한 실증적인 검증도 부족한 상황이다.

이에 이 연구는 재택 근무, 온라인 교육, 원격 의료라는 실시간 온라인 커뮤니케이션 맥락에서 눈 맞춤이 어떠한 효과가 있는지 살펴보고자 한다. 언택트 서비스에 대한 수요가 증가하고 있고 다양한 플랫폼의 등장과 기술 개발이 이루어지고 있으므로 더 나은 사용자 경험을 위해 실시간 온라인 커뮤니케이션에서 눈 맞춤에 관한 연구가 필요한 시점이다.

II. 이론적 배경

1. 실시간 온라인 커뮤니케이션과 눈 맞춤 효과

커뮤니케이션은 사람들 간에 생각과 감정을 주고받는 행위이다. 대면 대화에서는 전달자(sender), 수신자 (receiver), 내용(message)으로 커뮤니케이션 행위가 구성되지만, 비대면 커뮤니케이션에서는 메시지를 전달하는 미디어가 필요하며 미디어 인터페이스의 속성에 따라 상호작용의 효과와 범위가 결정된다[20][21].

비대면 커뮤니케이션에서 메시지를 전달하는 여러 매체가 있겠지만 이 연구에서 탐구하고자 하는 실시간 온라인 커뮤니케이션은 Zoom, Webex, Google Meet, Microsoft Teams, 네이버 웨일 온/웨일스페이스, SK텔레콤 Meetus 등의 온라인 화상회의/교육 서비스 플랫폼을 매체로 사용한 비대면 커뮤니케이션이다. 사용 맥락에 따라 실시간 온라인 강의, 원격 교육, 화상 회의, 온라인 회의, 원격 진료 등 다양한 용어가 사용되고 있으나, 이 연구에서는 이를 오프라인 대면 커뮤니케이션과 대비하여 실시간 온라인 커뮤니케이션이라고 정의하고, 선행 연구[2][4][22]에서 설정한 실시간 온라인 커뮤니케이션의 주요 활용 맥락인 원격 교육, 원격 업무, 원격 의료를 중심으로 살펴보고자 한다.

커뮤니케이션은 언어적 커뮤니케이션과 비언어적 커뮤니케이션으로 나누어볼 수 있으며, 비언어적 커뮤니케이션은 상대방에게 전달되는 표정, 제스처, 눈 맞춤 등의 언어 이외의 표현이다[23]. 이 중에서도 눈 맞춤은 매우 중요한 비언어적 표현 수단이다. 눈을 통해 감정을 읽을 수 있고 긍정-부정의 표현이 가능하다. 눈을 마주치는 것은 대화에 집중하고 있음을 나타내는 피드백이며, 눈을 피하는 것은 불신, 흥미 부족을 나타낸다 [23]. 눈 맞춤은 관심, 집중, 주의(attention)를 표현할 수 있는 중요한 표현 수단이며, 실제 고객 서비스와 같은 업무 성과에도 크게 영향을 미친다[23][24].

눈 맞춤은 서로 감정을 공유하며 친밀감을 쌓는 데에 도움을 주기 때문에 커뮤니케이션 성과에 긍정적인 영향을 미칠 수 있다. 대면 커뮤니케이션에서 중요한 역할을 하는 눈 맞춤이 비대면에서도 효과가 있는지에 대한 연구들이 진행되고 있다. 그 결과 다대다 또는 일대일의 실시간 온라인 커뮤니케이션 상황에서 눈을 마주치는 것이 더 풍부한 상호작용을 경험하게 하고, 참여 수준과 집중을 향상시킬 수 있음이 나타났다[25]. 화상으로 진행된 비대면 공동작업에서도 눈 맞춤을 하는 것은 문제 해결에 긍정적인 영향을 미쳤으며, 개념적 이해를 촉진시켰다[26]. 이를 통해 일대일, 일대다, 다대다 등 다양한 실시간 온라인 커뮤니케이션 상황에서 참여자 간 눈을 마주치는 것이 커뮤니케이션에 도움이 됨을 알 수 있다. 따라서 이 연구는 선행연구 결과를 종합하여 실시간 온라인 커뮤니케이션의 맥락을 현실적이고 일반적인 수준에서 교육(일대다), 업무(다대다), 의료 (일대일)로 설정하고, 다양한 상황에서 확인된 눈 맞춤의 효과가 커뮤니케이션의 맥락에 따라서도 나타나는지 살펴보고자 한다.

2. 눈 맞춤 인터페이스 기술 개발 현황

화상 미팅을 위해 필요한 카메라 또는 웹캠은 대부분의 경우 노트북 화면의 위쪽에 내장되어 있거나, 모니터 위에 거치해서 장착하기 때문에 시선의 상하 각도가 왜곡되게 된다. 듀얼 모니터를 사용하게 되는 경우는 좌우 각도의 왜곡도 발생한다. 즉, 발화자가 화면에서 상대의 얼굴을 정면으로 보면서 대화하더라도, 수신자는 상대가 정면으로 눈 맞춤을 하고 있지 않다고 인식하게 되는 인터페이스적인 문제가 발생한다.

이 문제의 해결을 위해 애플, 마이크로소프트, 엔비디아 등이 참여자 간 눈 맞춤 왜곡을 조정해주는 기술을 개발하여 실제 적용을 시도하고 있다. 가장 먼저 실제 서비스로 구현한 곳은 애플이다. 화상통화 어플리케이션인 Facetime에서 제공되는 눈 맞춤 기능은 기계 학습을 사용해 눈과 얼굴의 위치를 미세하게 조정하여 카메라 대신 화면을 보고 있을 때도 영상 통화가 더욱 자연스럽게 보이도록 한다[27].

마이크로소프트는 ‘Eye-Gaze Correction Module’ 이라는 시선 조절 기술을 특허 출원하였다. 위와 아래에서 촬영된 영상 이미지를 머리의 위치와 얼굴의 윤곽선을 기준으로 정면을 응시하고 있는 가상의 이미지로 합성하여 재생함으로써, 참가자가 눈을 마주치고 있는 것처럼 보이게 한다[28]. 2020년에는 [그림 1]과 같이, 인공지능 알고리즘을 통해 사용자의 시선을 정면을 향하는 것처럼 보이게 조절하는 기능도 추가되었다 [29][30].

CCTHCV_2021_v21n8_20_f0001.png 이미지

그림 1. 마이크로소프트의 인공지능 시선 조절 기능[30]

엔비디아는 2020년 10 월 ‘Maxine’이라는 클라우드 기반의 인공지능 화상회의 지원 서비스를 발표하였고, Maxine SDK(Software Development Kit)를 통해 다양한 기능을 제공하고 있다[31]. 그 중 하나가 인공지능 시선 정면 처리 기능으로 [그림 2]에서 볼 수 있듯이 현재까지 가장 수준 높은 결과물을 보여주고 있다. 그러나 연구가 진행되는 현 시점까지 ‘Eye Contact SDK’는 배포가 되지 않은 상황이다.

CCTHCV_2021_v21n8_20_f0002.png 이미지

그림 2. 엔비디아의 인공지능 시선 정면 처리 기능[31]

3. 연구 목적

눈 맞춤이 자연스럽지 못한 것이 현재의 실시간 온라인 커뮤니케이션의 본질적인 문제점이라고 할 수 있다. 발화자와 청자 간의 눈 맞춤은 커뮤니케이션의 더 나은 성과를 도출하고, 참여자 간 감정적 교류와 상호작용을 가능하게 하는 중요한 비언어적 수단이다. 그러므로 선행연구 결과와 기술 현황을 반영하여 실시간 온라인 커뮤니케이션에서 자연스러운 눈 맞춤이 일어날 수 있도록 인터페이스 설계와 사용 맥락에 따른 효과 검증이 필요하다.

이에 이 연구는 교육, 업무, 의료라는 실시간 온라인커뮤니케이션 맥락에서 눈 맞춤의 효과를 검증하는 것을 목적으로 한다. 동일한 실시간 온라인 커뮤니케이션 플랫폼과 인터페이스를 사용하여 세 가지 맥락을 동시에 비교하고, 맥락과 눈 맞춤 유무에 따른 사용자 경험의 차이를 통해 눈 맞춤의 효과를 알아보고자 한다. 눈 맞춤이 커뮤니케이션 성과, 감정적 교류, 상호작용에 영향을 미친다는 선행연구 결과에 따라 이 연구에서는 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감을 종속 변인으로 사용하여, 사용자 경험 측면에서 구체적인 눈 맞춤의 효과를 분석하고 인터페이스 설계 방안을 제시하고자 한다. 이에 따른 연구 가설은 다음과 같다.

연구 가설 1. 실시간 온라인 커뮤니케이션에서의 눈 맞춤은 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감을 증가시킬 것이다.

연구 가설 2. 실시간 온라인 커뮤니케이션에서의 눈 맞춤에 따른 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감은 교육, 업무, 의료 맥락에 따라 다르게 나타날 것이다.

CCTHCV_2021_v21n8_20_f0003.png 이미지

그림 3. 연구모형

III. 연구 방법

1. 실험 참가자

이 연구는 실시간 온라인 커뮤니케이션 경험이 있는 만 19세 이상의 성인을 대상으로 연구를 진행하였다. 2021년 5월 17일부터 24일까지 온라인 커뮤니티를 통해 설문지를 배포하여 실험 참가자를 모집하였다. 총 83명이 설문에 응답하였으나, 불충분한 실험 처치물 영상 재생 시간과 답변의 비일관성을 기준으로 하여 불성실한 응답지와 실험에 집중하지 못했다 보고한 참가자의 응답을 제외하고 총 61명의 설문 응답지를 분석에 사용하였다.

연구 참가자 61명의 평균 연령은 26.57세(SD = 5.61)였고, 여성이 39명(64%)으로 남성 22명(36%)보다 많았다. 연구 참가자는 강의, 회의, 상담, 친목도모, 교육, 스터디 등 다양한 맥락에서 평균적으로 16.03개월(SD = 9.41)의 실시간 온라인 커뮤니케이션 경험이 있었다. 또한, 연구 참가자의 60.67%가 실시간 온라인커뮤니케이션 플랫폼으로 Zoom을 사용하였으며, 다른 플랫폼으로는 Webex(14.61%), Google Meet(6.74%), Skype(5.62%), Microsoft Teams(3.37%)가 나타났다.

2. 실험 영상 처치물

실험 영상 처치물의 맥락은 국내 대표적인 언택트 서비스로 온라인 교육, 재택근무, 원격의료를 뽑은 연구 [2]와 이를 일상의 혁신으로 본 연구[4], 그리고 온라인회의 플랫폼 Zoom이 발간한 사용 맥락 보고서[22]에 따라 교육, 업무, 의료로 선정하였다.

실험 영상 처치물은 교육, 회의, 의료 맥락에 따라 시선 조절이 된 영상(눈 맞춤○)과 시선 조절이 되지 않은 영상(눈 맞춤✕)를 제작하였다. 연구가 진행되는 시점에 가장 자연스러운 인공지능 시선 조절 SDK가 배포되지 않았기 때문에, 시선 조절이 된 영상은 정면을 응시하며 말하도록 연출하여 녹화한 영상을 편집하여 사용하였다. 실험 영상 처치물에 대한 상세 내용은 [표 1] 및 [그림 4]와 같다.

표 1. 영상 처치물 내용

CCTHCV_2021_v21n8_20_t0001.png 이미지

CCTHCV_2021_v21n8_20_f0004.png 이미지

그림 4. 실험 영상 처치물 : 맥락 – 교육(A), 업무(B), 의료(C) / 눈 맞춤 – 조절✕(1), 조절○(2)

이에 따라 교육 맥락 영상 처치물은 일대다 상황에서 교수자가 강의를 하는 영상이며, 발화자(교수자)만 시선을 조절하여 눈 맞춤의 차이를 주었다. 업무 맥락 영상 처치물은 다대다 상황에서 회의를 하는 영상이며, 회의에 참여하는 모두의 시선을 조절하여 눈 맞춤의 차이를 주었다. 의료 맥락 영상 처치물은 일대일 상황에서 상담을 하는 영상이며, 의사와 환자 모두 시선을 조절하여 눈 맞춤의 차이를 주었다.

3. 종속 변인

연구 참가자는 실험 영상 처치물을 시청한 후, 총 12 문항의 설문에 응답하였다. 선행 연구[33-37]에서 사용한 문항을 이 연구에 맞게 재구성하여 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감의 4가지 항목을 리 커트 7점 척도(1점 = 전혀 그렇지 않다, 7점 = 매우 그렇다)로 측정하였다. 이 연구에 사용된 종속 변인은 기술 수용 측면에서 지속 사용 의도와 성과 기대가 사용되었으며, 친밀감(라포) 측면에서 상호작용성과 개인적 유대감이 사용되었다.

지속 사용 의도(Continuance Intention to Use) 는사용자들이 새로운 기술과 시스템을 향후에도 계속해서 사용하려는 의도로 사용자의 행동에 영향을 미치는 요인이다[33-36]. 교육, 서비스, 기술 등 다양한 맥락에서 사용자의 의도를 파악하고자 사용된다.

성과 기대(Performance Expectancy)는 새로운 기술과 시스템을 사용하는 것이 업무 성과, 작업 능률을 높이는데 도움이 될 것이라 생각하는 정도이다. 통합기술수용이론(UTAUT, Unified Theory of Acceptance and Use of Technology)에서 사용 의도에 영향을 미치는 변인이다[34-36].

상호작용성(Interactivity)은 친밀감(라포)를 형성하는데 영향을 미치며[33], 비대면 커뮤니케이션에서 중요한 변인이다[34][36][37]. 이 연구에서 상호작용성은 커뮤니케이션 전달 매체를 기반으로 대화 참여자들 간 지속적인 의미 교환이 잘 이루어지는지 효율성을 의미한다.

개인적 유대감(Personal Connection)은 대인 관계에서 타인과 밀접하다고 여기는 개인의 인식과 감정을 의미한다. 상호작용성과 함께 친밀감(라포)를 형성하는데 영향을 미치는 요인이다[33]. 종속변인들의 구체적인 설문 문항은 [표 2]와 같다.

표 2. 측정 변인 및 설문 문항

CCTHCV_2021_v21n8_20_t0002.png 이미지

4. 실험 절차

본 실험에 앞서 10명(남성 3명, 여성 7명)을 대상으로 파일럿 테스트를 실시하였다. 이를 통해 본 실험에 사용할 영상 처치물 차이에 대한 검증을 하였고, 설문 문항을 확인하여 문항 표현을 수정하였다.

이 연구의 실험은 온라인으로 진행되었으며 실험 처치 물 영상을 보고 설문 문항에 답할 수 있도록 구성하였다. 실험을 실시하기 전에 ‘인공지능 시선 조절 기능’ 이 무엇인지 참가자의 이해를 돕기 위해 사진과 함께 설명을 제공하였다. 실험은 독립변인에 따라 제작된 6 개의 영상을 하나씩 보고 설문에 답할 수 있도록 구성하였으며, 6개의 영상은 무선적으로 제시하였다. 총 실험 소요 시간은 20분 안팎이었다. 본 실험에 83명이 참가했으며, 답변의 비일관성과 이해의 어려움으로 인한 불성실한 응답을 제외하고 분석에는 61명의 설문 응답지를 사용하였다.

5. 실험 설계 및 분석

이 연구는 한 명의 실험 참가자가 실시간 온라인 커 뮤니케이션 맥락 조건(교육, 업무, 의료)과 눈 맞춤 조 건(유, 무)의 조합조건들에 모두 참여하는 3 ✕ 2 반복 측정 요인설계로 구성하였다. 독립변인 중 실시간 온라 인 커뮤니케이션 맥락은 대화 내용과 대화 참여 인원에 차이를 주어 조작하였는데, 각 맥락에 따라 현실적인 내용과 인원으로 구성하였다. 또 다른 독립변인인 눈 맞춤은 실험 영상 처치물에 등장하는 사람의 시선 처리 로 조작하였다.

분석방법은 IBM SPSS Statistics 25를 사용하여 앞 서 기술한 4가지 종속변인에 대해 이원 반복측정 분산 분석을 실시하였고, 통계적 임계치는 5%로 하였다.

IV. 연구 결과

1. 설문 문항 신뢰도 검증

본 실험에 사용한 설문 문항의 신뢰도를 검증하기 위해 Cronbach’s α 계수를 이용하여 신뢰도 분석을 진행하였다. 지속 사용 의도(α = .84), 성과 기대(α = .91), 상호작용성(α = .91), 개인적 유대감(α = .92) 로모든 항목에 대하여 Cronbach’s α 값이 0.7 이상으로 분석되어 모든 측정 변인의 신뢰도가 검증되었다.

2. 종속 변인 측정 결과

실시간 온라인 커뮤니케이션 맥락과 눈 맞춤 유무에 따른 종속변인의 차이를 살펴보기 위해 이원 반복측정분산분석(Two-Way Repeated Measures ANOVA) 을 실시하였다. 이원 반복측정 분산분석에서 Mauchly 의 구형성 검정에 의해 구형성이 가정된 경우(p > .05) 에는 개체 내 효과 검정의 구형성 가정 값을 사용하였고, 구형성 가정을 만족하지 못한 경우(p < .05)에는 Greenhouse-Geisser와 Huynh-Feldt로 수정된 값을 사용하였다.

표 3. 종속 변인 통계 결과

CCTHCV_2021_v21n8_20_t0003.png 이미지

2.1 지속 사용 의도

실시간 온라인 커뮤니케이션 맥락과 눈 맞춤 유무가 지속 사용 의도에 미치는 영향에 대하여 이원 반복측정분산분석(Two-Way Repeated Measures ANOVA) 를 실시한 결과, 실시간 온라인 커뮤니케이션 맥락에 따라 유의한 차이가 있는 것으로 나타났고[F(1.73, 103.96) = 6.22, p < .01, ηp 2 = .09], 눈 맞춤 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 60) = 94.39, p < .001, ηp 2 = .61]. 또한, 맥락 조건과 눈 맞춤 조건의 상호작용 효과도 유의한 것으로 나타났다 [F(2, 120) = 6.95, p < .01, ηp 2 = .10]. 이를 구체적으로 살펴보기 위해 Bonferroni 사후 검정을 통하여 단순 주 효과 분석(simple main effects)을 실시한 결과, 교육 맥락(98.33% CI[.25, .94], p < .001), 업무 맥락 (98.33% CI[.42, 1.23], p < .001), 의료 맥락(98.33% CI[.97, 1.75], p < .001) 모두에서 눈 맞춤이 있을 때와 없을 때 유의한 차이가 있음을 확인하였다. [그림 5] 에서 볼 수 있듯이, 실시간 온라인 커뮤니케이션의 모든 맥락에서 눈 맞춤이 있을 때 눈 맞춤이 없을 때보다 더 높은 지속 사용 의도를 보였다.

CCTHCV_2021_v21n8_20_f0005.png 이미지

그림 5. 지속 사용 의도에서 맥락과 눈 맞춤 간의 상호작용

2.2 성과 기대

실시간 온라인 커뮤니케이션 맥락과 눈 맞춤 유무가 성과 기대에 미치는 영향에 대하여 이원 반복측정 분산분석(Two-Way Repeated Measures ANOVA)를 실시한 결과, 실시간 온라인 커뮤니케이션 맥락에 따라 유의한 차이가 있는 것으로 나타났고[F(2, 120) = 7.39, p < .01, ηp 2 = .11], 눈 맞춤 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 60) = 112.16, p < .001, ηp 2 = .65]. 또한, 맥락 조건과 눈 맞춤 조건의 상호작용 효과도 유의한 것으로 나타났다[F(2, 120) = 14.42, p < .001, ηp 2 = .19]. 이를 구체적으로 살펴보기 위해 Bonferroni 사후 검정을 통하여 단순 주 효과분석(simple main effects)을 실시한 결과, 교육 맥락 (98.33% CI[.52, 1.27], p < .001), 업무 맥락(98.33% CI[.64, 1.32], p < .001), 의료 맥락(98.33% CI[1.36, 2.27], p < .001) 모두에서 눈 맞춤이 있을 때와 없을 때 유의한 차이가 있음을 확인하였다. [그림 6]에서 볼 수 있듯이, 실시간 온라인 커뮤니케이션의 모든 맥락에서 눈 맞춤이 있을 때 눈 맞춤이 없을 때보다 더 높은 성과 기대를 보였다.

CCTHCV_2021_v21n8_20_f0006.png 이미지

그림 6. 성과 기대에서 맥락과 눈 맞춤 간의 상호작용 표 4. 이원 반복측정 분산분석 결과

2.3 상호작용성

실시간 온라인 커뮤니케이션 맥락과 눈 맞춤 유무가 상호작용성에 미치는 영향에 대하여 이원 반복측정 분산분석(Two-Way Repeated Measures ANOVA)를실시한 결과, 실시간 온라인 커뮤니케이션 맥락에 따라 유의한 차이가 있는 것으로 나타났고[F(1.49, 89.62) = 47.35, p < .001, ηp 2 = .44], 눈 맞춤 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 60) = 107.20, p < .001, ηp 2 = .64]. 또한, 맥락 조건과 눈 맞춤 조건의 상호작용 효과도 유의한 것으로 나타났다[F(1.86, 111.69) = 7.95, p < .01, ηp 2 = .12]. 이를 구체적으로 살펴보기 위해 Bonferroni 사후 검정을 통하여 단순 주 효과 분석(simple main effects)을 실시한 결과, 교육 맥락(98.33% CI[.63, 1.54], p < .001), 업무 맥락 (98.33% CI[.73, 1.56], p < .001), 의료 맥락(98.33% CI[1.39, 2.24], p < .001) 모두에서 눈 맞춤이 있을 때와 없을 때 유의한 차이가 있음을 확인하였다. [그림 7] 에서 볼 수 있듯이, 실시간 온라인 커뮤니케이션의 모든 맥락에서 눈 맞춤이 있을 때 눈 맞춤이 없을 때보다 더 높은 상호작용성을 보였다.

CCTHCV_2021_v21n8_20_f0007.png 이미지

그림 7. 상호작용성에서 맥락과 눈 맞춤 간의 상호작용

2.4 개인적 유대감

실시간 온라인 커뮤니케이션 맥락과 눈 맞춤 유무가 개인적 유대감에 미치는 영향에 대하여 이원 반복측정분산분석(Two-Way Repeated Measures ANOVA) 를 실시한 결과, 실시간 온라인 커뮤니케이션 맥락에 따라 유의한 차이가 있는 것으로 나타났고[F(1.85, 110.79) = 44.98, p < .001, ηp 2 = .43], 눈 맞춤 유무에 따라 유의한 차이가 있는 것으로 나타났다[F(1, 60) = 132.11, p < .001, ηp 2 = .69]. 또한, 맥락 조건과 눈 맞춤 조건의 상호작용 효과도 유의한 것으로 나타났다 [F(2, 120) = 13.39, p < .001, ηp 2 = .18]. 이를 구체적으로 살펴보기 위해 Bonferroni 사후 검정을 통하여 단순 주 효과 분석(simple main effects)을 실시한 결과, 교육 맥락(98.33% CI[.75, 1.51], p < .001), 업무맥락(98.33% CI[.69, 1.57, p < .001), 의료 맥락 (98.33% CI[1.58, 2.36], p < .001) 모두에서 눈 맞춤이 있을 때와 없을 때 유의한 차이가 있음을 확인하였다. [그림 8]에서 볼 수 있듯이, 실시간 온라인 커뮤니케이션의 모든 맥락에서 눈 맞춤이 있을 때 눈 맞춤이 없을 때보다 더 높은 개인적 유대감을 보였다.

CCTHCV_2021_v21n8_20_f0008.png 이미지

그림 8. 개인적 유대감에서 맥락과 눈 맞춤 간의 상호작용

V. 논의

이 연구는 실시간 온라인 커뮤니케이션에서 눈 맞춤이 사용자의 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감에 어떠한 영향을 주는지 알아보았다. 실시간 온라인 커뮤니케이션 맥락으로는 교육, 업무, 의료를 사용하였다. 커뮤니케이션 맥락은 시나리오 구성에 차이를 주었으며, 눈 맞춤은 시선 조절 유무로 조작하였다.

실험 결과 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감 모든 종속변인이 실시간 온라인 커뮤니케이션의 모든 맥락에서 눈 맞춤이 있을 때 눈 맞춤이 없을 때보다 통계적으로 유의하게 높은 것으로 나타났다. 눈 맞춤이 있을 때 모든 맥락에서 높은 지속 사용 의도를 가졌고, 교육과 업무 맥락에서는 성과 기대를 높게 평가했으며 의료 맥락에서는 상호작용성을 높게 평가했다. 이는 눈 맞춤이 커뮤니케이션에서 중요한 비언어적 표현 수단이라는 선행연구와 일치하는 결과이며 [22][23][26][27], 실시간 온라인 커뮤니케이션에서도 눈 맞춤이 효과가 있음을 이 연구를 통해 확인하였다.

대면 상황에서 중요한 비언어적 수단이었던 눈 맞춤은 비대면 상황에서도 큰 차이를 만들어냈다. 실시간 온라인 커뮤니케이션에서 눈을 마주치는 것만으로도 더 우수한 성과를 기대하게 하며, 참여자와 상호작용하고 있다고 느끼며, 친밀한 관계라고 생각하게 만들었다. 이는 눈 맞춤이 프레젠테이션을 할 때 신뢰와 설득력을 높이고[38], 비즈니스에서는 정직함과 성실함을 전달하는 효과가 있다는[23] 선행연구 결과를 지지하는 결과이다.

맥락 별로 살펴보면 눈 맞춤의 유무에 따라 가장 큰 차이를 보인 것은 의료 맥락이었다. 비대면 진료 확대에 앞서 환자와 전문가와의 치료적 관계 형성이 매우 중요하다[39]. 눈 맞춤이 있을 때 상호작용성과 개인적 유대감이 높게 나타난 점을 반영하면 실시간 온라인 커뮤니케이션에서 시선 조절 기능을 지원하는 것이 환자- 전문가 라포 형성에도 도움이 될 것으로 보여진다. 또한, 환자가 비대면 상황에서 더 친근함을 느끼고 적극적으로 진료에 임하며 비대면 상담이 환자 발굴에도 효과적이라는 점도[40], 인공지능 기술을 통해 눈 맞춤을 가능하게 한다면 더 높은 상담 효과도 기대해 볼 수 있게 한다.

교육과 업무 맥락에서도 실시간 온라인 커뮤니케이션에서 눈 맞춤을 하는 것이 효과가 있는 것으로 나타났다. 의료 맥락보다는 그 효과가 작지만, 눈 맞춤을 제공하는 것만으로도 눈 맞춤이 없을 때와 차이가 나타난 것은 그 자체로 의미가 있다. 특히, 상호작용성이 많이 떨어졌던 기존의 온라인 교육과 회의에서 눈 맞춤을 하는 것만으로 효과가 높아진 것은 눈 맞춤이 없는 것을 문제로 지적했던 선행연구[11-12][17-19][24]의 결과를 뒷받침하는 동시에 해결책을 제시한다. 또한, 눈 맞춤이 있을 때 더 나은 성과가 나타날 것이라 판단한 만큼 인공지능 시선 조절 기능을 제공한다면 현재보다 더 나은 결과를 기대해볼 수 있을 것이다.

눈 맞춤은 집중과 흥미를 표현하고 상호작용을 이끌어내는 중요한 수단이다. 그러나 지나친 응시는 오히려 무례하게 느껴지거나 상대방을 불안하게 하며 부족한 응시 역시 무례하고 불성실하거나 주의력이 부족한 것처럼 보일 수 있다[41]. 또한, 눈 맞춤이 문화권에 따라서도 다르게 해석될 수 있다[42]. 그러므로 인공지능 시선 정면 처리 기능을 끄고 켤 수 있는 제어권을 사용자에게 제공하는 것을 고려해보아야 한다. 이 연구 결과를 통해 눈 맞춤 유무에 따라 지속 사용 의도에 차이가 나타난 만큼 인공지능 시선 정면 처리 기능이 더 보편적으로 실제 적용되기를 기대한다.

본 연구의 한계점과 후속연구에 대한 제언은 다음과 같다. 첫째, 이 연구는 실제 인공지능 시선 조절 기능을 사용하지 못했다. 후속 연구에서는 실제 인공지능 소프트웨어를 활용하여 연구할 수 있을 것이다. 둘째, 이 연구의 실험 참가자의 연령대는 주로 20~30대였다. 그러므로 후속 연구에서는 보다 다양한 연령대를 대상으로 연구를 진행한다면 더 폭넓은 이해가 가능할 것이다. 셋째, 이 연구에서는 설문을 통해 사용자 경험을 탐구하였는데 사용자의 응답과 실제 응시는 다를 수 있다. 후속 연구에서는 아이 트래커를 사용하여 실시간 온라인 커뮤니케이션에서 눈 맞춤이 가능할 때 사용자 경험을 연구할 수 있을 것이다.

이러한 한계점에도 이 연구는 다음과 같은 의의가 있다. 첫째, 실시간 온라인 커뮤니케이션에서 맥락에 따른눈 맞춤의 효과를 실험으로 검증하였다는 점이다. 이를 통해 비대면 상황에서도 눈 맞춤이 효과가 있다는 연구 결과를 지지하고, 눈 맞춤이 사용자의 지속 사용 의도, 성과 기대, 상호작용성, 개인적 유대감에 유의한 영향을 미치는 것을 밝혀내었다. 둘째, 인공지능 시선 조절 기능, 시선 정면 처리 기능이 개발되어 실제 적용되는 시점에서 이 연구의 결과를 활용할 수 있다는 점이다. 플랫폼 회사는 더 나는 사용자 경험을 위해 눈 맞춤 기능도입을 고려해볼 수 있다. 또한 애플, 마이크로소프트, 엔비디아 외에 다른 IT 회사에서도 눈 맞춤의 효과를 확인하고 인공지능 시선 조절 기능 개발을 시작할 수 있다. 이 연구결과가 실무적으로 도움이 되어 실시간 온라인 커뮤니케이션에서 더 나은 사용자 경험을 제공할 수 있기를 기대한다.

References

  1. Friedman, T. "Our New Historical Divide: B.C. and A.C. - the World Before Corana and the World After," The New York Times, 2020.03.17.
  2. 배영임, 신혜리, 코로나19, 언택트 사회를 가속화하다, 경기연구원 이슈&진단, 2020.
  3. 한국과학기술기획평가원, 포스트 코로나 시대의 미래 전망 및 유망기술, 한국과학기술기획평가원, 2020.
  4. 이지현, "코로나19가 앞당긴 일상의 혁신 - 실리콘밸리의 하루," KOTRA 해외시장뉴스, 2020.04.21.
  5. 이상훈, "코로나 혼란기에 싹튼 '비대면 진료'... 원격의료 길 열리나?," 머니S, 2021.06.03.
  6. 진석, "비대면 진료의 이용의도에 미치는 영향에 관한 연구," 한국콘텐츠학회논문지, 제20권, 제12호, pp.180-197, 2020. https://doi.org/10.5392/JKCA.2020.20.12.180
  7. K. Shah, S. Maan, R. Singh, R. Bangar, and R. Kulkarni, "Impact of COVID-19 on the Mental Health of Children and Adolescents," Cureus, Vol.12, No.8, Aug. 2020.
  8. 이기순, 코로나19 이후 1년, 청소년 정신건강 변화기록, 한국청소년상담복지개발원 청소년상담 이슈페이퍼, 2021.
  9. 변진경, "1년의 교육 공백 100년짜리 빚이 되다," 시사IN, 2021.02.17.
  10. 서울특별시교육청교육연구정보원, 코로나19로 인한 학교 수업 방식의 변화가 교사 수업, 학생 학습, 학부모의 자녀 돌봄에 미친 영향: 초등학교를 중심으로, 서울특별시교육청교육연구정보원, 2020.
  11. 김제림, 김형주, 명지예, "코로나에 공교육 붕괴...교우관계.학력 악화," 매일경제, 2021.05.11.
  12. 김미영, "코로나 19로 인한 대학 글쓰기 강좌의 원격 화상수업화에 따른 문제점과 대응책-2020학년도 1학기 홍익대 <논리적 사고와 글쓰기> 강좌의 사례를 중심으로," 인문과학, 제120권, pp.5-49, 2020. https://doi.org/10.23017/INMUN.2020.120..5
  13. 이종만, "코로나 19 원격 교육에서 외로움과 유튜브 과다사용이 대학생활적응에 미치는 영향에 대한 탐색적 연구," 한국콘텐츠학회논문지, 제20권, 제7호, pp.342-351, 2020. https://doi.org/10.5392/JKCA.2020.20.07.342
  14. 강재웅, "재택근무 출퇴근 스트레스 없지만.. 업무적응 불편," 파이낸셜뉴스, 2021.
  15. 김종호, "재택근무 확대에 기업들 '우왕좌왕'..업무 차질.사내 갈등↑," 이데일리, 2020.12.15.
  16. 한국은행, 코로나19 사태로 인한 재택근무 확산: 쟁점과 평가, 한국은행, 2020.
  17. J. N. Bailenson, "Nonverbal overload: A theoretical argument for the causes of Zoom Faigue," Techonlogy, Mind, and Behabior, Vol.2, No.1, 2021.
  18. J. Spataro, The future of work-the good, the challenging & the unkown, Microsoft, 2020.
  19. B. Morris, Why does Zoom exhaust you? Science has an answer, Wall Street Journal, 2020.
  20. 오미영, 커뮤니케이션, 커뮤니케이션북스, 2013.
  21. 이종수, 행정학 사전, 대영문화사, 2009.
  22. https://blog.zoom.us/the-year-that-was-the-year-that-will-be/
  23. 이승연, 정규엽, 정웅용, "호텔직원의 비언어적 커뮤니케이션이 직원평가와 고객만족 및 충성도에 미치는 영샹," 호텔경영학연구, 제22권, 제6호, pp.275-296, 2013.
  24. D. Phutela, "The importance of non-verbal communication," IUP Journal of Soft Skills, Vol.9, No.4, pp.43-49, 2015.
  25. M. He, B. Xiong, and K. Xia, "Are You Looking at me? Eye Gazing in Web Video Conference," Proceedings of Human Interface Technologies 2020/21 Winter Conference, 2021.
  26. R. Joiner, E. Scanlon, T. O'Shea, R. B. smith, and C. Blake, "Evidence from a Series of Experiments on Video-mediated Collaboration: Does Eye Contact Matter?", Proceedings of the Conference on Computer Support for Collaborative Learning, pp.371-378, 2002.
  27. https://support.apple.com/ko-kr/HT211808
  28. Z. Zhang and R. Yang, Video-Teleconferencing System with eye-gaze correction, U.S. Patent No.6,771,303, 2004.
  29. Brian Cheon, "내 눈은 늘 너를 향한다... MS, 화상 회의용 AI '아이 콘택트' 기능 테스트 중", CIO KR, 2020.07.23.
  30. S. Morton, Make a more personal connection with Eye Contact, now generally available, Microsoft Devices Blog, 2020.
  31. https://developer.nvidia.com/maxine
  32. J. Montogery, "Video Meeting Etiquette: 7 Tips to Ensure a Great Attendee Experience," Zoom Blog, 2019.11.27.
  33. D. D. Gremler and K. P. Gwinner, "Customer-employee rapport in service relationships," Journal of Service Research, Vol.3, No.1, pp.82-104, 2000. https://doi.org/10.1177/109467050031006
  34. 김미영, "온라인 학습 상호작용성과 코로나(COVID-19) 위험인식이 학습행동의도, 학습지속성에 미치는 영향: 통합기술수용이론(UTAUT) 활용," 호텔경영학경구, 제29권, 제8호, pp.59-76, 2020.
  35. 박찬권, 서영복, "확장된 UTAUT를 활용한 스마트 팩토리 관련 기술의 사용의도에 대한 연구," 경영교육 연구, 제35권, 제5호, pp.501-532, 2020.
  36. 유병관, 송지희, 이성호, "인터넷 쇼핑몰에서 사회적 실재감(Social Presence)이 소비자들의 인지된 상호작용성(Perceived Interactivvity)에 미치는 영향," e-비지니스연구, 제10권, 제3호, pp.395-414. 2009.
  37. D. Sirkin, G. Venolia, J. Tang, G. Robertson, Kim. T, K. Inkpen, M. Sedlins, B. Lee, and M. Sinclair, "Motion and Attention in a Kinetic Videoconferenceing Proxy," IFIP Conference on Human-Computer Interaction, Spring, pp.162-180, 2011.
  38. T. W. Leigh and J. O. Summers, "An Initial Evaluation of Industrial Buyers' Impressions of Salespersons' Nonverbal Cues," Journal of Personal Selling & Sales Management, Vol.22, No.1, pp.41-53, 2002.
  39. 손해인, 코로나 19 유행에 따른 뉴욕주 정신건강서비스의 변화: 비대면 원격 정신건강 진료(Telemental Health) 전멱적 실시를 중심으로, 국제사회보장리뷰 2020 여름호, pp.71-86, 2020.
  40. 김양균, "정신과 비대면 진료 효과적일 수 있다," ZDNet Korea, 2021.05.27.
  41. G. Wainwright, Understand Body Language (Teach Yourself), Hodder & Stoughton, 2011.
  42. P. Allan and P. Barbara, The Definitive Book of Body Language: How to read others' attitudes by their gestures, Hachette UK, 2016.