DOI QR코드

DOI QR Code

Exploring the Moderating Effect of Security Awareness on Trust and Service Value in Website

품질 관점에서 웹사이트의 신뢰와 서비스가치, 그리고 보안인식의 조절효과

  • Park, Jun-Gi (Institute of Convergence Science, Yonsei University) ;
  • Lee, Hyejung (Institute of East and West Studies, Yonsei University) ;
  • Kim, Gibum (Graduate School of Information, Yonsei University)
  • 박준기 (연세대학교 미래융합연구원) ;
  • 이혜정 (연세대학교 동서문제연구원) ;
  • 김기범 (연세대학교 정보대학원)
  • Received : 2017.07.18
  • Accepted : 2017.09.04
  • Published : 2017.10.31

Abstract

Because websites contain personal information such as address, contact information, etc., Attention about website security is required. This research is a study to examine that user's security awareness has a moderating effect on the relationship between website quality factors and trust, information and service value on websites holding personal information. As a result of questionnaire survey of the secondary school students and parents 635 people, website quality factors excluding usability positively affected trust of the website. Information quality on the website had a positive influence on service value and service value also affected trust. User's security awareness about the website has a moderating effect on the relationship between information and service value. The result of this research means that users are not continuously using websites with a low security level. Based on the results of this research, we presented theoretical and practical suggestions for the stakeholders of websites.

웹사이트는 주소, 연락처 등의 개인정보를 포함하고 있어 보안에 대한 주의가 요구된다. 본 연구는 개인정보를 보유하고 있는 웹사이트에서 사용자의 보안인식이 웹사이트 품질요소와 신뢰, 정보품질과 서비스가치 간의 관계에 어떤 조절효과를 미치는지 알아보는 연구이다. 중고등학교 학생 및 학부모 635명을 대상으로 설문을 실시한 결과, 사용성을 제외한 웹사이트 품질요소는 웹사이트 신뢰에 긍정적인 영향을 주었다. 웹사이트 정보품질은 서비스가치에 긍정적인 영향을 미쳤으며 서비스가치는 신뢰에도 영향을 주는 것으로 나타났다. 웹사이트 보안인식은 정보품질과 서비스가치의 관계에서 조절효과가 있는 것으로 밝혀졌다. 본 연구 결과는 사용자들이 보안수준이 낮은 웹사이트를 지속적으로 사용하지 않는다는 것을 의미한다. 본 연구 결과를 바탕으로 웹사이트 이해관계자들을 위한 이론적, 실무적 시사점을 제시하였다.

Keywords

I. 서론

웹사이트는 주소, 연락처 등의 개인정보를 보유하고 있어 보안에 대한 안전성이 요구된다. 보안수준이 낮은 웹사이트는 사용자들에게 믿음을 주지 못하며 사용욕구를 떨어뜨린다. 웹사이트 보안수준에 대한 사용자의 인식은 웹사이트가 제공하는 서비스가치와 해당 사이트에 대한 믿음에 영향을 미친다.

서비스 관점에서 웹사이트 품질은 사용자의 만족과 충성도에 영향을 준다. 디자인, 반응성 등의 품질 요소를 갖춘 웹사이트는 사용자에게 믿음을 준다. 사용자가 요구하는 정보를 갖춘 웹사이트는 사용자가 만족할 만한 서비스를 제공한다. 웹사이트가 신뢰와 서비스가치를 기반으로 만족감을 제공한다면 사용자는 웹사이트를 지속적으로 사용할 것이다.

웹사이트 품질요소 중 보안은 웹사이트에 영향을 주는 주요한 선행요소이다. 보안수준이 낮은 웹사이트는 사용자에게 믿음과 충분한 서비스를 제공하기 어렵다. 신뢰와 서비스가 부족한 웹사이트는 사용자에게 만족감을 주기 힘들다. 만족하지 못하는 웹사이트를 사용자가 지속적으로 사용할 가능성은 낮다. 일반적인 웹사이트는 상거래, 정보제공 등이 웹사이트의 주요기능이다. 초중고 교육 웹사이트는 학부모와 학생, 교사가 주로 사용하며 특히 학생 관련 개인정보를 다수 보유하고 있다.

본 연구는 중고등학교 학생 및 학부모를 대상으로 학교 웹사이트에서 보안인식의 조절효과를 탐험적으로 실증분석 하였다. 학교 웹사이트의 주목적이 학급 정보제공이라는 사실에 착안하여 웹사이트 품질요소와 정보품질을 선행요인으로 설정하였다. 학교 웹사이트에 있어 보안의 중요성을 반영하여 보안인식을 조절변수로 설정하였다. 중고등학교 학생과 학부모를 대상으로 설문을 실시하여 데이터를 수집하였으며, 구조모형 모델을 PLS(Partial Least Square)를 이용하여 분석하였다. 분석결과를 토대로 가설을 검증하고 시사점을 도출하였다.

II. 이론적 배경

본 연구는 다음과 같은 모델을 기반으로 연구를 설계하였다. ES-QAUL 모델은 사용자가 웹사이트를 통해 받는 서비스품질을 측정하기 위한 모델로서 웹사이트 서비스품질을 4개 차원(효율성, 이행성, 시스템 가용성, 보안)으로 측정하였다[41]. 본 연구에서는 ES-QAUL 모델의 시스템 가용성과 보안을 변수로 사용하였다. IS 서비스 재사용 모델은 SERVQUAL 모델을 기반으로 서비스품질과 서비스가치 및 만족 간의 관계를 설명하며 이 결과로 사용자의 IS 서비스 재사용이 발생한다고 제시하였다[24]. 본 연구에서는 IS 서비스 재사용 모델을 기반으로 하여 서비스품질과 서비스가치를 변수로 사용하였다.

2.1 웹사이트 품질

웹사이트 품질은 사용자의 만족과 충성도에 영향을 미친다[52]. 디자인은 사용자에게 시각적 만족을 제공하는 것으로[7, 56], 사용자 편의성, 레이아웃, 색상 등을 고려한다[28]. 반응성은 웹사이트 상에서 사용자가 제기하는 문제점 혹은 답변들에 대해 효과적으로 대응하거나[41], 웹사이트의 반응 속도 자체를 뜻한다[4, 29, 54]. 사용성은 사용자가 직접 조작하는 시스템을 사용할 때 사용자가 인식하는 경험의 수준을 의미하며[45], 이는 시스템 디자인과 관련된 공학적 접근방법으로 설명하기도 한다[38]. 정보는 웹사이트가 사용자와의 의사소통을 통해 요구된 정보를 제공하는 것으로[36], 사용자뿐만 아니라 사용자의 업무에도 적합한 정보를 제공하는 것을 말한다[31].

최근에도 웹사이트 서비스품질을 측정하는 연구들이 진행되어왔다. 국외에서는 대학교 홈페이지를 자동화 툴의 품질요소(디자인, 기능, 콘텐츠, 접근성, 보안, 사용성, 모바일, 검색엔진 최적여부, 페이지 분석) 기반으로 평가한 연구[23], 전자상거래 사이트를 보안이 추가된 품질요소(사용편의성, 수단으로써 적합성, 사용자의 감정, 콘텐츠, 보안) 기반으로 측정한 연구[35], 도서관 사이트를 품질요소(사용성, 효율성, 효과성, 학습성, 만족, 접근성) 기반으로 측정한 연구[40] 등이 있다.

국내에서는 관광 홈페이지를 품질요소(피드백, 신뢰성, 접근성, 일관성, 심미성) 기반으로 측정한 연구[21], 신용카드사 웹사이트를 품질요소(정보, 시스템 작동, 미학적 웹디자인, 주문처리, 지각된 보안인식)기반으로 측정한 연구[30], 관광정보 웹사이트를 품질요소(디자인, 내용충실성, 편리성, 상호작용성, 신뢰성, 배려성) 기반으로 측정한 연구[10] 등이 있다. 관련 연구들을 보면 웹사이트 품질을 측정할 때 디자인, 반응성, 사용성, 정보, 보안이 핵심요소임을 알 수 있다.

온라인 환경 기반의 연구들을 보면 보안을 조절변수로 고려하기도 한다. 소셜커머스를 통한 구매에서 보안의 조절효과를 알아보는 연구[62], 소셜 네트워크 서비스의 지속적 사용의도에서 정보보안의 조절효과에 관한 연구[61], 온라인 구매에서 보안 염려의 조절효과에 대한 연구[39], 전자상거래의 무형성과 인지된 위험의 관계에서 보안 염려의 조절효과에 관한 연구[55], 웹사이트를 신뢰하는데 있어서 보안 염려의 조절효과에 대한 연구[2] 등이 있다. 이는 보안이 온라인 환경에 영향을 미치는 핵심요소임을 의미한다.

2.2 웹사이트 보안인식

보안이란 고객이 어떤 웹사이트가 사용하기에 안전한지, 개인정보는 얼마나 보호되는지에 대해 믿는 정도를 의미한다[44]. 보안은 온라인 환경에서 웹사이트 사용자들에게 큰 영향을 미친다[20]. 웹사이트 사용자들은 개인정보가 노출되는 것을 불안해하기 때문에, 보안은 중요한 웹사이트 평가요소이다[35]. 보안은 웹사이트의 설계단계부터 핵심적으로 고려될 필요가 있다[36].

웹사이트 사용자가 웹사이트를 선택하는데 있어 보안은 영향을 미치며[21], 서비스 제공자와 사용자 간의 신뢰를 구축하는데 중요한 역할을 한다[20, 23]. 웹사이트의 보안수준이 사용자의 기대치를 충족시킨다면, 사용자는 개인정보를 제공할 것이며 웹사이트를 신뢰할 것이다[46, 53, 54]. 보안은 사용 의도와 사용, 만족에도 영향을 준다[10, 36].

학교와 같은 공공기관의 경우 사용자 개인정보에 대한 보안은 더욱 중요하다. 최근 학교 웹사이트 상으로 명예훼손, 불법정보유통, 해킹과 같은 정보화의 역기능 현상이 발생하고 있다[42]. 안전하게 학교 웹사이트를 사용하기 위해서는 사용자 측면, 정보시스템 측면의 노력이 필요함에도 아직 제대로 관리되지 않고 있다[26].

2.3 신뢰와 서비스가치

웹사이트 품질요소는 신뢰에 직접적인 영향을 준다[16]. 디자인은 비언어적이며 외형 기반의 요소로 사용자의 신뢰에 영향을 미친다[12, 13, 48]. 잘 설계된 시스템은 사용자의 정보처리시간과 탐색비용을 낮추므로 사용자에게 높은 만족도를 주며[25], 충성도에도 영향을 미친다[1]. 반응성은 고객만족에 중요한 영향을 미치며 웹사이트 신뢰에도 영향을 준다[5]. 사용성은 웹사이트 서비스품질을 결정하는 중요요소이다[39]. 사용자에 의해 인지된 웹사이트 품질요소는 사용자의 만족 및 신뢰에 영향을 미치며 충성도에도 영향을 준다[11]. 웹사이트 사용성은 사용자가 웹사이트를 사용하는데 있어 결정적인 영향을 미치며, 웹사이트에 대한 고객의 인식을 변화시킨다[32]. 웹사이트의 품질에 대한 사용자의 인지가 높을수록 웹사이트 서비스 전반에 대한 신뢰가 높아지게 된다[18]. 웹사이트에 대한 사용자의 높은 신뢰는 충성도에도 긍정적인 영향을 미친다[7, 8, 44, 47].

정보품질은 웹사이트의 특성인 온라인 환경에서 중요하게 고려해야 할 요소이다[52]. 사용자는 웹사이트 내 정보를 통해 웹사이트의 전반적인 품질을 파악 할 수 있으며[49], 사용자가 인지한 웹사이트의 서비스품질은 웹사이트의 서비스가치에 영향을 미친다[24]. 서비스품질은 서비스가치의 선행 변수이며[3], 웹사이트의 정보품질 또한 사용자가 인지한 서비스가치의 선행요인이다[2, 41]. 사용자에 의해 인지된 서비스 가치는 충성도에도 영향을 미친다[33, 55].

온라인 환경에서 서비스가치는 신뢰를 얻기 위해 중요하다[15]. 신뢰에 영향을 주는 다양한 요인이 있으나[37], 사용자가 인식한 서비스가치는 웹사이트 신뢰에 강한 영향을 미친다[18]. 사용자가 웹사이트에서 얻는 가치에 대한 인식이 높을수록 웹사이트에 대한 신뢰도 높아진다[46].

III. 연구모형 및 가설

본 연구는 학교 웹사이트의 품질에 대한 웹사이트 사용자 행동의 변화를 살펴보고자 하였다. 먼저 학교 웹사이트에 대한 선행연구를 검토하여, 학교 웹사이트의 품질요소 3개(디자인, 반응성, 사용성)와 정보 품질을 독립변수로 선택하였다. 사용자가 인식하는 웹사이트의 서비스가치와 웹사이트에 대한 신뢰를 매개변수로 선택하였고, 종속변수로 사용자가 인지하는 충성도를 설정하였다. 마지막으로 독립변수와 매개변수 간의 관계에 영향을 미치는 조절변수로 보안인식을 선정하여 변수 간의 관계에 대한 가설을 정립하였다. 본 연구모형을 간단히 도식화 하면 [Fig. 1.]과 같다.

Fig. 1. Research model

3.1 웹사이트 품질요소와 신뢰

웹사이트 품질요소와 신뢰는 서로 직접적인 관계가 있다[16]. 디자인은 사용자가 인지하는 외형적 요소로써 사용자의 신뢰에 영향을 준다[12, 13, 48]. 반응성은 웹사이트 신뢰에 영향을 주며 사용자 만족에도 영향을 미친다[5]. 사용성은 웹사이트에 대한 사용자 인식을 변화시키며[32], 웹사이트 서비스에 대한 신뢰에 영향을 미친다[18]. 따라서 학교 웹사이트에서 웹사이트 품질요소와 웹사이트 신뢰의 관계를 검증하기 위해 아래와 같이 가설을 설정하였다.

H1. 디자인은 웹사이트 신뢰에 대해 긍정적인 영향을 준다.

H2. 반응성은 웹사이트 신뢰에 대해 긍정적인 영향을 준다.

H3. 사용성은 웹사이트 신뢰에 대해 긍정적인 영향을 준다.

3.2 웹사이트 정보품질과 서비스가치

정보품질은 온라인 환경에서 핵심적으로 고려되는 품질요소이다[52]. 사용자는 웹사이트 품질을 웹사이트가 제공하는 정보를 기반으로 파악 할 수 있다[49]. 서비스품질은 사용자가 인지한 서비스가치의 선행변수로 영향을 준다[3]. 이와 유사하게 웹사이트의 정보품질도 서비스가치의 선행변수로 인식된다[2, 41]. 따라서 학교 웹사이트에서 웹사이트 정보 품질과 서비스가치의 관계를 검증하는 가설을 아래와같이 설정하였다.

H4. 웹사이트 정보품질은 서비스가치에 대해 긍정적인 영향을 준다.

3.3 서비스가치, 신뢰 그리고 충성도

사용자가 웹사이트로부터 얻는 서비스가치는 웹사이트 신뢰와 관련이 있다[18]. 서비스는 고객과의 약속을 전제로 하기 때문에 신뢰는 서비스가치의 핵심요소이다[15]. 웹사이트로부터 제공되는 서비스가치는 웹사이트의 신뢰에 영향을 미친다[46]. 따라서 학교 웹사이트에서 서비스가치와 웹사이트 신뢰의 관계를 검증하기 위해 아래와 같이 가설을 설정하였다.

H5. 서비스가치는 웹사이트 신뢰에 긍정적인 영향을 준다.

신뢰는 충성도의 대표적인 선행요인이다[46]. 온라인 환경에서 신뢰와 충성도 간의 관계는 주로 전자상거래 분야에서 실증되었다[7]. 관련 연구를 보면 웹사이트에 대한 신뢰가 높을수록 구매하려는 경향이 발생하며[44], 웹사이트를 타인에게 추천하게 된다[47]. 정보 검색 서비스와 같은 콘텐츠 중심의 서비스에서도 신뢰와 충성도 간의 긍정적인 관계가 존재한다[8]. 따라서 학교 웹사이트에서 웹사이트 신뢰와 웹사이트 충성도의 관계를 검증하기 위해 아래와 같이 가설을 설정하였다.

H6. 웹사이트 신뢰는 웹사이트 충성도에 긍정적인 영향을 준다.

웹사이트 충성도는 반복해서 웹사이트에 방문하거나 웹사이트의 서비스에 대해 호의적인 반응을 보이는 태도로서[1], 웹사이트의 성공에 있어 가장 중요한 요인이다[46]. 웹사이트 환경에서 충성도는 신뢰, 만족도 그리고 인식된 가치에 의해서 영향을 받는데, 사용자가 인식하는 서비스가치에 의한 영향이 가장 크게 나타난다[33]. 다른 연구에서도 사용자에 의해 인지된 가치가 충성도를 높인다는 점을 확인하였다[25, 55]. 따라서 학교 웹사이트에서 서비스가치와 웹사이트 충성도의 관계를 검증하기 위해 아래와 같이 가설을 설정하였다.

H7. 서비스가치는 웹사이트 충성도에 긍정적인 영향을 준다.

3.4 웹사이트 보안인식의 조절효과

보안은 온라인에서 웹사이트 사용자들에게 중요한 요소이다[20]. 보안은 사용자들이 웹사이트를 선택하는데 영향을 미친다[21]. 보안능력을 갖춘 웹사이트는 사용자들에게 신뢰를 준다[46, 53, 54]. 특히 온라인 환경에서는 개인정보 노출에 대한 불안감이 존재하기 때문에[21], 보안은 다른 요소들 간의 관계에도 영향을 미친다[2, 39, 55, 61, 62]. 따라서 학교 웹사이트에서 웹사이트 보안인식이 웹사이트 품질요소와 신뢰 및 웹사이트 정보품질과 서비스가치의 관계에 어떤 영향을 미치는지를 검증하는 가설을 아래와 같이 설정하였다.

H8a. 보안인식에 따라 디자인이 웹사이트 신뢰에 미치는 영향이 달라진다.

H8b. 보안인식에 따라 반응성이 웹사이트 신뢰에 미치는 영향이 달라진다.

H8c. 보안인식에 따라 사용성이 웹사이트 신뢰에 미치는 영향이 달라진다.

H8d. 보안인식에 따라 정보품질이 서비스가치에 미치는 영향이 달라진다.

IV. 연구 방법

4.1 측정항목 개발

본 연구에서 사용된 변수들의 측정 항목은[Table 1.]과 같다. 본 연구의 측정항목은 기존 연구를 바탕으로 총 8개의 구성개념을 본 연구에 적합하게 수정하여 도출하였다. 측정항목 수가 2개 이상이면 그 결과가 유사하므로[36], 측정항목은 해당 변수에 적합한 2~4개의 5점 척도 항목(1점은 매우 동의하지 않는다, 5점은 매우 동의한다)으로 측정하였다.

디자인은 학교 웹사이트가 정보전달에 사용한 시청각적 수단과 설계 구조에 대한 사용자들의 전반적인 평가라고 정의하였으며 Collier & Bienstock, Lee & Lin, Loiacono 외 2명이 제시한 측정항목 중 3개를 사용했다[6, 29, 31]. 반응성은 학교 웹사이트가 사용자의 요청에 신속하게 응답했는지에 대한 사용자의 인식 정도로 정의하였으며 Parasuraman외 2명, Yang & Peterson, Wolfinbarger illy의 측정항목 3개를 사용했다[41, 52, 55]. 사용성은 학교 웹사이트라는 시스템을 사용할 때 사용자가 인식하는 시스템 품질이라고 정의하였으며 Parasuraman 외 2명, Collier & Bienstock, Loiacono 외 2명의 4개 항목으로 측정하였다[6, 31, 41]. 정보품질은 사용자에게 제공된 정보가 얼마나 정확하고 유용한지에 대한 사용자의 인식 수준으로 정의하였으며 Loiacono 외 2명, Yang eterson이 제시한 측정항목 3개를 사용하였다[31, 55]. 보안인식은 학교 웹사이트가 사용자의 정보를 안전하게 관리할 것이라는 전반적인 믿음으로 정의하였으며 Parasuraman 외 2명과Collier ienstock이 제시한 2개 항목으로 측정하였다[6, 41]. 웹사이트 신뢰는 사용자가 이용하는 학교 웹사이트에 대해 느끼는 믿음의 정도로 정의하였으며 Kimery & McCord의 3개 항목을 사용하였다[27]. 웹사이트의 서비스가치는 사용자가 서비스를 통해 얻을 것으로 인식한 실질적 혜택의 크기로 정의하였으며 Kettinger가 제시한 2개 항목으로 측정하였다[24]. 마지막으로 충성도는 학교 웹사이트에 반복해서 방문하거나 서비스에 긍정적인 반응을 하는 서비스에 대한 호의적인 태도로 정의하였으며 Parasuraman 외 2명의 측정항목 4개를 사용하였다[41].

Table 1. Variables, Items & Sources

4.2 자료 수집

본 연구의 자료 수집은 중고등학교 학생을 둔 학부모와 중고등학생을 대상으로 설문을 실시하였다. 설문은 웹 설문지를 기반으로 온라인 설문조사로 수행하였다. 총 688명의 설문지가 회수되었으나 결측치 및 분석에 적합하지 않은 설문지를 제외하고 총 635명의 자료를 분석에 사용하였다. 학부모 279명(43.9%), 학생 356명(56.1%)이 응답하였다. 소속된 학교는 중학교 342명(53.9%), 고등학교 293명(46.1%)로 나타났다. 응답자의 웹사이트 접속빈도는 매일 1회 이상 접속 115명(18.1%), 일주일에 3~4번 170명(26.8%), 일주일에 한번 151명(21.4%), 한 달에 1~2번 정도 199명(31.3%)로나타났다. 웹사이트 접속 후 평균 상주시간은 10분 미만 281명(44.3%), 10~30분 310명(48.8%) 그리고 30분 이상은 44명(7%)으로 조사되었다.

V. 실증분석 결과

본 연구에서는 측정모형과 구조모형을 검증하기 위해 구조 방정식 이론에 근거한 PLS 분석방법을 사용하여 가설을 검증하였다. PLS 분석은 이론적인 구조모형에 대한 평가와 측정모형에 대한 평가가 동시에 가능한 분석방법이다[53].

5.1 측정모형 분석

PLS를 이용하여 분석할 경우, 집중타당성(convergent validity)과 판별타당성(discriminant validity)의 검토는 필수적인 수행 절차이다[16]. 본 연구에서는 측정변수들이 개념에 잘 적재되었는지를 확인하기 위해 확인적 요인분석(confirmatory factor analysis)을 수행하고, 집중타당성 및 판별타당성 분석을 실시하였다. 집중타당성은 이론적으로 밀접한 관계를 갖는 개념이 서로 통계적으로 유의한 상관관계를 보이는 경우를 의미한다. 이는 각각의 잠재개념에 대한 측정 변수들이 유의한 t값을 가지고 적재되어야 한다는 의미이다. PLS를 통한 집중타당성 분석을 위해 확인적 요인분석을 수행하고 각 측정항목의 관련 변수에 대한 요인적재 값(factor loading)의 크기를 조사하였다. 측정항목과 변수 간의 적재 값이 0.7이상이면 측정항목이 개념적 타당성을 확보한 것으로 평가한다[53].

[Table 2.]는 측정변수에 관한 분석결과를 나타내는 것으로 측정변수의 요인 적재 값이 모두 0.7이상을 나타냈다. 측정항목들의 내적 일관성을 살펴보기 위해서 조합신뢰도(composite reliability)와 크론바하 알파(cronbach’s α) 및 평균분산추출(AVE: Average Variance Extracted)을 살펴보았다[14]. 측정결과 조합신뢰도(0.860~0.926)와 크론바하 알파(0.736~0.854)는 모두 기준 값인 0.7 이상의 값을 가지고 있고, AVE(0.632~0.886)는 기준 값인 0.5 이상의 값을 가져 집중타당성이 존재한다는 것이 확인되었다.

판별타당성은 서로 상이한 개념이 있는 경우, 다른 개념을 측정하였을 때 얻어진 측정치들 간에는 상관관계가 매우 낮은 경우를 나타낸다. 잠재변수의 상관계수가 적절한 패턴의 적재 값을 나타내야 하며, 측정변수는 할당된 요인에 높게 적재되어야 한다. PLS에서는 판별 타당성이 적합한지를 알아보기 위해 AVE의 제곱근 값이 변수 간의 상관계수보다 높은 것으로 검증할 수 있다[14]. [Table 3.]에서는 각 변수의 상관관계 계수 값을 나타내고 있다. 대각선 행렬은 AVE의 제곱근 값으로 이 값이 다른 상관계수 값보다 크게 나타나고 있어 판별 타당성의 조건을 만족한다.

5.2 구조모형 분석

측정모형 분석결과, 연구 모형에 대한 신뢰성과 타당성이 확보되었으므로 구조모형을 이용하여 가설검증을 실시하였다. 구조모형은 모형의 잠재변수들 간의 의존적 관계를 나타내는 것으로서 변수들 간의 상관관계를 나타내는데 사용되며, 측정 계수뿐만 아니라 각 계수의 표준오차와 t값을 산출해낸다. 본 연구에서는 양측검정으로 t값이 1.96이상의 경우 유의수준 5%로 검증하였다[17].

Table 2. The results: Confirmatory factor analysis

Table 3. The results: Discriminant validity

경로분석 결과에 따르면 학교 웹사이트 디자인과 웹사이트에 대한 신뢰의 관계(β=0.170, t=3.54)는 유의한 영향이 있는 것으로 나타나 H1은 채택되었다. 학교 웹사이트 반응성에 따른 사용자가 인식하는 신뢰의 관계(β=0.421, t=9.60) 역시 유의미한 관계로 확인되어 H2도 채택되었다. 학교 웹사이트의 정보품질과 서비스가치의 관계(β=0.566, t=11.00)도 유의한 관계로 분석되어 H4도 채택되었다. 학교 웹사이트의 서비스가치와 사용자가 인지한 신뢰의 관계(β=0.311, t=5.59)도 유의한 것으로 나타나 H5는 채택되었다. 학교 웹사이트에 대한사용자 신뢰와 사용자 충성도의 관계(β=0.457, t=6.78), 사용자가 인식한 서비스가치와 사용자 충성도의 관계(β=0.323, t=4.84) 모두 지지되는 것으로 확인되어 H6, H7도 채택되었다. 그러나 학교 웹사이트의 사용성과 사용자 신뢰의 관계(β=0.098, t=1.90)는 유의하지 않은 것으로 분석되어 H3은채택되지 않았다. 이와 같은 경로분석 결과를 요약하면 [Fig. 2.]와 같다.

H8의 분석을 위해서 웹사이트 품질요소와 신뢰 그리고 정보품질과 서비스가치의 조절 효과를 분석하였다. 조절 효과 분석은 예측 변수와 결과 변수의 관계를 분석하는 주 효과(main effect) 분석을 한 이후에 조절 변수 그리고 상호작용 변수(조절 변수와 예측 변수를 곱해서 얻는다)를 순차적으로 분석하여 그 결과를 비교 판단한다. 사용성의 원칙과 신뢰의 관계에서는 사용성의 원칙이 주 예측 변수이고 결과변수로는 신뢰가 설정이 되었다. 여기에 조절 변수로는 공유된 비전을 채택하여 구조방정식 분석을 수행하여 [Table 4.]에 그 결과를 제시하였다. 디자인, 반응성, 사용성과 신뢰의 직접효과는 0.170, 0.421 그리고 0.098로 분석되었는데 조절효과를 포함한 경우는 0.126, 0.409, 0.092로 낮아졌다. 반면 상호작용효과를 고려한 경우는 서로 다른 영향이 보였다. 반응성의 경우 주 모델에 비해서 조절변수를 추가한 인식된 보안 변수의 추가로 설명력이 높아졌다. 상호작용변수가 추가되는 경우 R²가 증가하는 것으로 보아 상호작용이 주효 했다고 판단 할 수 있다. 디자인과 사용성은 상호작용효과의 변화가 없는 것으로 나타났다.

Fig. 2. The results: Path coefficient analysis

조절효과를 최종확인하기 위해 상호작용모델을 기준으로 f²=Δ R²/(1-R²)로 계산한다. 상호작용모델에서 설명이 안 되는 부분(1-R²)과 비교하여 설명력의 차이(ΔR)를 나타낸다. 일반적으로 0.02 정도이면 작은 효과, 0.15정도이면 중간 정도 효과로 보며, 0.35가 넘어가면 상호작용 효과가 크다고 판별한다. 분석결과 0.014정도로 작은 것으로 보아 가설 H8a, H8b, H8c의 경우는 조절효과가 기각되었다. 정보와 서비스가치와의 관계에서의 조절효과는 f² 값의 크기를 0.030으로 작은 효과로 있는 것으로 나타났다. 상호작용변수가 추가되는 경우 R²가 0.019 정도 증가하는 것으로 보아 상호작용이 존재한다고 판단되어 H8d는 채택되었다.

VI. 결론

본 연구는 학교 웹사이트에서 사용자의 신뢰에 영향을 미치는 핵심요인 중 하나인 보안인식의 조절효과를 확인하기 위해 수행된 연구이다. 보안인식의 높고 낮음이 웹사이트 품질요소와 웹사이트 신뢰 간의 관계, 정보와 서비스가치 간의 관계에 어떤 영향을 미치는지를 실증 분석하였다. 학교 웹사이트 실제 사용자인 학부모, 학생을 대상으로 연구를 수행하기 위하여 웹 기반 설문조사를 실시하였다. 수집된 데이터는 PLS를 통해 보안인식에 따른 웹사이트 사용성과 충성도 간의 관계에 대한 측정모형 및 구조모형 분석을 실시하였다.

연구 가설을 통계적으로 검증하여 경로계수와 조절효과를 분석한 결과를 요약하면 다음과 같다. 첫째, 사용성을 제외한 웹사이트 품질요소는 웹사이트 신뢰에 긍정적인 영향을 미치는 것으로 나타났다. 이는 웹사이트 품질요소인 디자인, 반응성이 사용자의 웹사이트 신뢰를 향상시키는데 도움이 된다는 것을 의미하며, 사용자의 웹사이트 충성도를 높이는데 직접적인 영향을 미친다는 것을 알 수 있다.

Table 4. The results: Moderating effect analysis

*: p < 0.05, **: p < 0.01, ns: insignificant at the 0.05 level

둘째, 웹사이트 정보는 서비스가치에 긍정적인 영향을 미치는 것으로 나타났다. 이 관계의 결과 값은 다른 관계들의 결과 값에 비해 더 높았는데, 이는 웹사이트가 보유한 정보와 사용자가 얻는 실질적 혜택인 서비스가치가 높은 연관성이 있다는 사실을 의미한다.

셋째, 서비스가치는 웹사이트의 신뢰와 충성도에 긍정적인 영향을 주며, 웹사이트 신뢰 역시 충성도에 유의미한 영향을 미치는 것으로 나타났다. 충성도에 미치는 영향력에 있어서 서비스가치의 직접적인 영향보다는 서비스가치가 신뢰를 통해 충성도에 주는 영향이 더 높았다. 이는 사용자가 인지한 서비스가치가 웹사이트의 전반적인 신뢰를 높여 충성도를 향상시키는데 도움을 준다는 것을 뜻한다.

넷째, 웹사이트 보안인식의 조절효과는 일부 유의미하게 나타났다. 웹사이트 품질요소(디자인, 반응성, 사용성)와 신뢰의 관계에 있어 조절효과는 기각되었으나, 웹사이트 정보와 서비스가치의 관계에 대한 조절효과는 있는 것으로 나타났다. 이는 사용자의 보안인식이 웹사이트 품질요소 중 정보에 어느 정도 영향을 미친다는 것을 의미한다.

연구결과를 바탕으로 다음과 같은 이론적 공헌과 실무적 시사점을 제시할 수 있다. 이론적 공헌으로는 첫째, 연구모형에서 보안인식을 조절변수로 설정하였다. 보안을 선행요인이 아닌 다른 요소의 영향력을 조절하는 주요변수로 두고 연구모형을 설정하였다. 이는 보안을 선행변수로 설정한 기존 연구들과는 다른 점이다. 본 연구의 결과에 따르면 보안은 정보와 서비스가치 간의 관계에 조절효과를 미친다. 이 결과는 웹사이트 상에서 보안이 기본적으로 뒷받침되지 않는다면 해당 웹사이트가 제공하는 서비스가치가 낮아진다는 것을 의미한다. 특히 정보가 중요한 웹사이트에서 그 영향력은 더 높아질 것이다. 이러한 연구 결과는 향후 웹사이트 관련 연구에서 보안을 조절변수로 설정하는 연구가 진행될 가능성이 높다는 것을 말한다.

둘째, 학교 웹사이트와 그 실사용자들을 대상으로 연구를 진행하였다. 기존의 연구에서는 학교 웹사이트를 대상으로 하는 연구가 드물었다. 본 연구에서는 기존 웹사이트와는 특성이 다른 학교 웹사이트를 대상으로 실제 사용자인 학부모, 학생들을 대상으로 자료를 수집하여 실증적으로 분석하였다. 본 연구의 결과에 따르면, 웹사이트 품질요소 중 사용성은 웹사이트 신뢰에 미치는 영향이 미미한 것으로 나타났다. 해당 결과는 기존 사용성 관련 연구에 반하는 결과이다[12, 17, 19]. 이는 학교 웹사이트의 특성상 사용자들이 학교 관련 정보획득을 위해 학교 웹사이트에 접속하기 때문에, 사용성이 웹사이트 신뢰에 크게 영향을 미치지 않는다는 의미로 볼 수 있다. 웹사이트에 대한 사용 편의적 요소보다는 제공되는 정보가 웹사이트를 믿고 사용하는데 더 큰 영향을 미친다는 것이다. 본 연구의 다른 결과를 보면 보안인식이 사용성 품질요소(디자인, 반응성, 사용성)와 신뢰 간의 관계에 조절효과를 미치지 않는 것으로 나타났다. 해당 결과는 보안인식이 품질요소보다는 정보에 영향을 미친다는 뜻이다. 이는 학교 웹사이트의 특성상 사용자의 개인정보를 포함하고 있기 때문에 사용자가 느끼는 보안인식이 웹사이트 품질이 아닌 정보에 집중된다는 의미이다. 따라서 정보는 웹사이트 품질요소 측정 시 반드시 측정되어야 하는 필수요소라 할 수 있다.

셋째, 웹사이트 품질요소와 정보의 가치를 다시 한 번 확인하였다. 사용성을 제외한 웹사이트 품질요소와 정보가 웹사이트 신뢰와 서비스가치, 충성도에 유의미한 영향을 미친다는 것을 본 연구를 통해 재확증할 수 있었다. 디자인은 외부적 요소로써 사용자에게 영향을 준다. 학교 웹사이트는 학생 관련 정보제공을 주목적으로 하고 있다. 학교 웹사이트 디자인은 기존 웹사이트들과는 다르게 정보제공에 최적화된 화면 인터페이스를 제공해야 한다. 반응성은 웹사이트의 기본적 요소로써 사용자에게 영향을 준다. 웹사이트 내에서 사용자가 원하는 정보를 선택했을 시 웹사이트는 사용자가 기대하는 응답능력을 제공해야 한다. 높은 응답능력을 가진 웹사이트는 사용자로부터 신뢰와 재사용을 이끌어 낼 수 있는 기본조건을 갖추었다고 할 수 있다. 정보는 내부적 요소로써 사용자에게 영향을 준다. 웹사이트가 어떤 정보를 보유하고 있는지에 따라 해당 웹사이트의 특성이 결정되며, 웹사이트가 제공하는 서비스가치에도 영향을 미친다. 웹사이트는 사용자에게 적시에 적합한 정보를 제공할 수 있어야 한다.

다음의 실무적 시사점을 통해 웹사이트 관리자 및 사용자들은 웹사이트 관리 및 이용에 본 연구를 참고할 수 있다. 첫째, 성공적인 웹사이트 구축 및 운영을 위해 웹사이트 품질요소를 필수적으로 관리해야 한다. 디자인은 사용자가 웹사이트 전체를 한눈에 알아볼 수 있도록 하며 원하는 기능을 쉽게 찾을 수 있도록 해준다. 이는 사용자가 웹사이트를 통해 원하는 목적을 쉽게 성취할 수 있도록 돕는다. 따라서 사용자의 의견을 반영하여 쉽게 사용할 수 있는 웹사이트 디자인을 구축하고 이를 지속적으로 운영해 나가는 것이 중요하다. 반응성은 사용자가 원하는 결과를 빠르게 제시하여 사용자의 만족도를 높여준다. 반응성이 높은 웹사이트에서 사용자는 자신이 원하는 목적을 정확하고 빠르게 얻을 수 있다. 이를 위해 웹사이트를 기능 오류 없이 안정적으로 유지 보수해 나가는 것 역시 중요하다.

둘째, 사용자에게 원하는 정보를 제공할 수 있도록 웹사이트 내의 정보를 지속적으로 관리해야 한다. 웹사이트의 서비스가치를 높이기 위해서는 목적에 맞는 적합한 정보를 적시에 제공할 수 있어야 한다. 이를 위해서는 웹사이트 관리자와 사용자를 포함한 이해 관계자들이 웹사이트 내 정보에 관심을 가지고 이를 주기적으로 확인해야 한다. 수시로 웹사이트를 확인하여 적합한 정보가 적시에 존재하는지를 파악하고 즉각적인 피드백이 이뤄질 수 있도록 관리해야 한다. 정보가 체계적으로 관리되지 않는다면 올바르지 않은 정보의 부정적 영향으로 웹사이트는 그 가치를 잃어버릴 것이며 사용자들은 더 이상 해당 사이트를 사용하지 않을 것이다.

셋째, 웹사이트 운영의 핵심인 보안을 항상 안전하게 유지하고 관리해야 한다. 웹사이트에 있어 웹사이트 품질요소와 정보도 중요하지만, 보안이 기본적으로 뒷받침되지 않는다면 웹사이트의 서비스품질과 그 가치가 하락하여 사용자에게 만족감을 제공할 수 없다. 안정적인 웹사이트 운영을 위해서는 먼저 웹사이트 보안을 강화할 수 있는 체계적인 보안정책을 갖춰야 한다. 안정적인 보안정책을 기반으로 웹 서비스를 제공한다면 사용자에게 웹사이트 보안수준에 대한 긍정적인 인식을 줄 수 있다. 또한 내부 보안교육과 지속적인 보안 관련 투자로 보안에 대한 내부인식을 고취시켜야 한다. 웹사이트 개발, 운영, 관리 담당자들이 보안은 지속적인 관리가 필요한 요소라 생각하게끔 해야 한다. 마지막으로 사용자들의 보안에 대한 각별한 관심이 필요하다. 아무리 웹사이트 관련자들의 내외부적인 인식이 높아지더라도 실제 사용자들이 보안에 관심을 갖지 않는다면 웹사이트의 보안수준은 향상될 수 없다.

VII. 한계점 및 향후 과제

본 연구의 한계점과 향후 과제는 다음과 같다. 첫째, 본 연구는 웹사이트 품질요소를 디자인, 반응성, 사용성의 3 가지로 한정하여 연구를 진행하였다. 향후 연구에서는 기존 문헌에서 제시하는 웹사이트 품질요소를 종합적으로 측정하여 그 관계를 연구한다면 타당성 높은 연구결과를 발견할 수 있을 것이다.

둘째, 본 연구는 연구대상을 서울에 거주하는 학부모 및 학생으로 한정하였다. 각 학교마다 웹사이트 사용수준이 다를 것이므로 대상을 지역별, 연령별 등으로 연구대상을 세분화하고 다양한 학교 이해 관계자들을 포함시킨다면 신뢰성 있는 결과를 얻을 수 있을 것이다.

셋째, 본 연구는 보안에 관한 인식을 실증적 분석으로만 측정하였다. 개인의 보안에 관한 인식은 실증적 분석으로만 측정하기에는 한계가 있다. 따라서 인터뷰 등의 질적 연구방법을 추가한다면 더 정확한 연구결과를 발견할 수 있을 것이다.

마지막으로 보안인식의 조절효과를 한정적으로 측정하였다. 본 연구는 웹사이트 품질요소 및 정보품질과 신뢰, 서비스가치, 충성도의 관계에 보안인식의 조절효과를 확인하는데 그 목적이 있다. 하지만 보안 인식은 웹사이트에 전반적인 영향을 미치기 때문에, 향후 연구에서 신뢰, 서비스가치, 충성도 간의 관계에 대한 보안인식의 조절효과를 살펴 볼 필요가 있다.

References

  1. R. E. Anderson and S. S. Srinivasan, "Esatisfaction and e‐loyalty: A contingency framework," Psychology & marketing, vol. 20, no. 2, pp. 123-138, 2003. https://doi.org/10.1002/mar.10063
  2. G. Bansal and L. Chen, "If they trust our e-commerce site, Will they trust our social commerce site too? Differentiating the trust in e-commerce and s-commerce: The moderating role of privacy and security concerns," Proceedings of the MWAIS, 2011.
  3. H. H. Bauer, T. Falk, and M. Hammerschmidt, "eTransQual: A transaction process-based approach for capturing service quality in online shopping," Journal of Business Research, vol. 59, no. 7, pp. 866-875, 2006. https://doi.org/10.1016/j.jbusres.2006.01.021
  4. R. N. Bolton and J. H. Drew, "A multistage model of customers' assessments of service quality and value," Journal of consumer research, vol. 17, no. 4, pp. 375-384, 1991. https://doi.org/10.1086/208564
  5. R. T. Cenfetelli, I. Benbasat, and S. Al-Natour, "Addressing the what and how of online services: Positioning supporting-services functionality and service quality for business-to-consumer success," Information Systems Research, vol. 19, no. 2, pp. 161-181, 2008. https://doi.org/10.1287/isre.1070.0163
  6. D.-H. Cheon and Y.-S. Jun, "A Study on how E-Service Quality of Low Cost Airlines will Affect Customer's Satisfaction and Trust, Commitment and Loyalty," International Journal of Tourism Management and Sciences, 26(3), pp. 433-454, 2011.
  7. J. E. Collier and C. C. Bienstock, "Measuring service quality in e-retailing," Journal of service research, vol. 8, no. 3, pp. 260-275, 2006. https://doi.org/10.1177/1094670505278867
  8. E. Cristobal, C. Flavian, and M. Guinaliu, "Perceived e-service quality (PeSQ) Measurement validation and effects on consumer satisfaction and web site loyalty," Managing service quality: An international journal, vol. 17, no. 3, pp. 317-340, 2007. https://doi.org/10.1108/09604520710744326
  9. D. Cyr, K. Hassanein, M. Head, and A. Ivanov, "The role of social presence in establishing loyalty in e-service environments," Interacting with computers, vol. 19, no. 1, pp. 43-56, 2007. https://doi.org/10.1016/j.intcom.2006.07.010
  10. W. H. Delone and E. R. McLean, "The DeLone and McLean model of information systems success: a ten-year update," Journal of management information systems, vol. 19, no. 4, pp. 9-30, 2003. https://doi.org/10.1080/07421222.2003.11045748
  11. W. Feng and S.-S. Choi, "A study on Chinese Tourists' Satisfaction, Revisit Intention of Tourism Information Service: focused on Chinese web-site of Korea National Tourism Organization," Journal of Tourism Services Research, 12(2), pp. 81-107, 2015.
  12. C. Flavian, M. Guinaliu, and R. Gurrea, "The role played by perceived usability, satisfaction and consumer trust on website loyalty," Information & Management, vol. 43, no. 1, pp. 1-14, 2006. https://doi.org/10.1016/j.im.2005.01.002
  13. B. Fogg, Persuasive Technology: Using Computers to Change what We Think and Do. Morgan Kaufmann, 2003.
  14. B. J. Fogg, "Persuasive technologies," Communications of the ACM, vol. 42, no. 5, pp. 27-29, 1999.
  15. C. Fornell and D. F. Larcker, "Structural equation models with unobservable variables and measurement error: Algebra and statistics," Journal of marketing research, pp. 382-388, 1981.
  16. S. Grabner-Kraeuter, "The role of consumers' trust in online-shopping," Journal of Business Ethics, vol. 39, no. 1-2, pp. 43-50, 2002. https://doi.org/10.1023/A:1016323815802
  17. C. Gronroos, "Service Management and Marketing: A Customer Relationship Management Approach, John Wiley & Sons, ltd," ed, 2000.
  18. J. F. Hair Jr, R. E. Anderson, R. L. Tatham, and C. William, "Black (1995), Multivariate data analysis with readings," New Jersy: Prentice Hall, 1995.
  19. L. C. Harris and M. M. Goode, "The four levels of loyalty and the pivotal role of trust: a study of online service dynamics," Journal of retailing, vol. 80, no. 2, pp. 139-158, 2004. https://doi.org/10.1016/j.jretai.2004.04.002
  20. D. L. Hoffman, T. P. Novak, and M. Peralta, "Building consumer trust online," Communications of the ACM, vol. 42, no. 4, pp. 80-85, 1999. https://doi.org/10.1145/299157.299175
  21. K.-L. Hui, H. H. Teo, and S.-Y. T. Lee, "The value of privacy assurance: an exploratory field experiment," Mis Quarterly, pp. 19-33, 2007.
  22. M.-K. Jang and H.-K. Kwon, "A Study on the Usability of Local Government's Tours Portal," Journal of the Korea Entertainment Industry Association, 10(2), pp. 37-45, 2016. https://doi.org/10.21184/jkeia.2016.04.10.2.37
  23. S. L. Jarvenpaa and P. A. Todd, "Consumer reactions to electronic shopping on the World Wide Web," International journal of electronic commerce, vol. 1, no. 2, pp. 59-88, 1996. https://doi.org/10.1080/10864415.1996.11518283
  24. S. Kaur, K. Kaur, and P. Kaur, "Analysis of website usability evaluation methods," in Computing for Sustainable Global Development (INDIACom), 2016 3rd International Conference on, 2016, pp. 1043-1046: IEEE.
  25. W. J. Kettinger and J. Smith, "Understanding the consequences of information systems service quality on IS service reuse," Information & Management, vol. 46, no. 6, pp. 335-341, 2009. https://doi.org/10.1016/j.im.2009.03.004
  26. H. Kim and L. S. Niehm, "The impact of website quality on information quality, value, and loyalty intentions in apparel retailing," Journal of Interactive Marketing, vol. 23, no. 3, pp. 221-233, 2009. https://doi.org/10.1016/j.intmar.2009.04.009
  27. M.-K. Kim, "An Analysis on the Status of Inappropriate Material Posting and Personal Information Exposure in Elementary Schools' Web Sites," Journal of The Korean Association of Information Education, 8(4), pp. 489-500, 2004.
  28. S. Kim and H. Park, "An Empirical Study on Individual and Social Commerce Factors Impacting Shopping Value and Intention to Repurchase in Social Commerce and Moderating Effects of Perceived Security," Journal of the Korea society of IT services, 12, pp. 31-53, 2013. https://doi.org/10.9716/KITS.2013.12.2.031
  29. S. Kim and H.-S. Park, "An Empirical Study on the Influence of Social Network Services(SNS) and Individual Characteristics on Intention to Continuous Use of SNS," Journal of the Korea society of IT services, 11, pp. 17-38, 2012.
  30. K. M. Kimery and M. McCord, "Third-party assurances: Mapping the road to trust in e-retailing," JITTA: Journal of Information Technology Theory and Application, vol. 4, no. 2, p. 63, 2002.
  31. Y.-K. Kwon, H.-J. Park, and S.-R. Lee, "The Effect of Tourism Information Website on Satisfaction, Trust and Loyalty: Focused on Tourism Website by Jeju Province," Journal of Tourism and Leisure Research, 15(2), pp. 137-157, 2003.
  32. G.-G. Lee and H.-F. Lin, "Customer perceptions of e-service quality in online shopping," International Journal of Retail & Distribution Management, vol. 33, no. 2, pp. 161-176, 2005. https://doi.org/10.1108/09590550510581485
  33. M. S. Lee, "The Effect of Website Service Quality of Credit Card Company on E-Loyalty and A Sense of Virtual Community : Focusing on Moderating Effect of Perceived Security Risk," Journal of Korea Service Management Society, 17(2), pp. 1-23, 2016.
  34. E. T. Loiacono, R. T. Watson, and D. L. Goodhue, "WebQual: An instrument for consumer evaluation of web sites," International Journal of Electronic Commerce, vol. 11, no. 3, pp. 51-87, 2007. https://doi.org/10.2753/JEC1086-4415110302
  35. P. B. Lowry, A. Vance, G. Moody, B. Beckman, and A. Read, "Explaining and predicting the impact of branding alliances and web site quality on initial consumer trust of e-commerce web sites," Journal of Management Information Systems, vol. 24, no. 4, pp. 199-224, 2008. https://doi.org/10.2753/MIS0742-1222240408
  36. P. Luarn and H.-H. Lin, "A customer loyalty model for e-service context," J. Electron. Commerce Res., vol. 4, no. 4, pp. 156-167, 2003.
  37. C. N. Madu and A. A. Madu, "Dimensions of e-quality," International Journal of Quality & reliability management, vol. 19, no. 3, pp. 246-258, 2002. https://doi.org/10.1108/02656710210415668
  38. R. A. Majid, M. Hashim, and N. A. s. A. Jaabar, "An evaluation on the Usability of E-Commerce Website using think aloud method," in New Perspectives in Information Systems and Technologies, Volume 2: Springer, 2014, pp. 289-296.
  39. M. S. Matell and J. Jacoby, "Is there an optimal number of alternatives for Likert scale items? Study I: Reliability and validity," Educational and psychological measurement, vol. 31, no. 3, pp. 657-674, 1971. https://doi.org/10.1177/001316447103100307
  40. M. MATSUMOTO, S. YOKOI, and T. YASUDA, "A Research of Information Architecture and Design Methods for Academic Society's Website," The Journal of the Society for Art and Science, vol. 1, no. 3, pp. 125-131, 2002. https://doi.org/10.3756/artsci.1.125
  41. P. McCole, E. Ramsey, and J. Williams, "Trust considerations on attitudes towards online purchasing: The moderating effect of privacy and security concerns," Journal of Business Research, vol. 63, no. 9, pp. 1018-1024, 2010. https://doi.org/10.1016/j.jbusres.2009.02.025
  42. R. M. Morgan and S. D. Hunt, "The commitment-trust theory of relationship marketing," The journal of marketing, pp. 20-38, 1994.
  43. J. Nielsen, Usability engineering. 1993.
  44. J. W. Palmer, "Web site usability, design, and performance metrics," Information systems research, vol. 13, no. 2, pp. 151-167, 2002. https://doi.org/10.1287/isre.13.2.151.88
  45. A. Pant, "Usability evaluation of an academic library website: experience with the Central Science Library, University of Delhi," The electronic library, vol. 33, no. 5, pp. 896-915, 2015. https://doi.org/10.1108/EL-04-2014-0067
  46. A. Parasuraman, V. A. Zeithaml, and A. Malhotra, "ES-QUAL a multiple-item scale for assessing electronic service quality," Journal of service research, vol. 7, no. 3, pp. 213-233, 2005. https://doi.org/10.1177/1094670504271156
  47. B.-Y. Park, "Research Papers: Internet Unhealthy Information Distribution and Youth," Research on Social Development, 7, pp. 163-185, 2001.
  48. C.-H. Park and Y.-G. Kim, "Identifying key factors affecting consumer purchase behavior in an online shopping context," International Journal of Retail & Distribution Management, vol. 31, no. 1, pp. 16-29, 2003. https://doi.org/10.1108/09590550310457818
  49. P. A. Pavlou, "Consumer acceptance of electronic commerce: Integrating trust and risk with the technology acceptance model," International journal of electronic commerce, vol. 7, no. 3, pp. 101-134, 2003. https://doi.org/10.1080/10864415.2003.11044275
  50. J. M. Pearson, A. Pearson, and D. Green, "Determining the importance of key criteria in web usability," Management Research News, vol. 30, no. 11, pp. 816-828, 2007. https://doi.org/10.1108/01409170710832250
  51. F. F. Reichheld and P. Schefter, "E-loyalty: your secret weapon on the web," Harvard business review, vol. 78, no. 4, pp. 105-113, 2000.
  52. D. Ribbink, A. C. Van Riel, V. Liljander, and S. Streukens, "Comfort your online customer: quality, trust and loyalty on the internet," Managing Service Quality: An International Journal, vol. 14, no. 6, pp. 446-456, 2004. https://doi.org/10.1108/09604520410569784
  53. D. Robins and J. Holmes, "Aesthetics and credibility in web site design," Information Processing & Management, vol. 44, no. 1, pp. 386-399, 2008. https://doi.org/10.1016/j.ipm.2007.02.003
  54. J. Santos, "E-service quality: a model of virtual service quality dimensions," Managing Service Quality: An International Journal, vol. 13, no. 3, pp. 233-246, 2003. https://doi.org/10.1108/09604520310476490
  55. D. Schoder and P.-L. Yin, "Building firm trust online," Communications of the ACM, vol. 43, no. 12, pp. 73-79, 2000.
  56. G. L. Urban, F. Sultan, and W. J. Qualls, "Placing trust at the center of your Internet strategy," MIT Sloan Management Review, vol. 42, no. 1, p. 39, 2000.
  57. M. Vinhal Nepomuceno, M. Laroche, M.-O. Richard, and A. Eggert, "Relationship between intangibility and perceived risk: moderating effect of privacy, system security and general security concerns," Journal of Consumer Marketing, vol. 29, no. 3, pp. 176-189, 2012. https://doi.org/10.1108/07363761211221701
  58. M. Wolfinbarger and M. C. Gilly, "eTailQ: dimensionalizing, measuring and predicting etail quality," Journal of retailing, vol. 79, no. 3, pp. 183-198, 2003. https://doi.org/10.1016/S0022-4359(03)00034-4
  59. C. W. Wynne, "Issues and Opinion on structural Equation Modelling," Management Information Systems quarterly, vol. 22, no. 1, pp. 1-8, 1998. https://doi.org/10.2307/249676
  60. Z. Yang and M. Jun, "Consumer perception of e-service quality: from internet purchaser and non-purchaser perspectives," Journal of Business strategies, vol. 19, no. 1, p. 19, 2002.
  61. Z. Yang and R. T. Peterson, "Customer perceived value, satisfaction, and loyalty: The role of switching costs," Psychology & Marketing, vol. 21, no. 10, pp. 799-822, 2004. https://doi.org/10.1002/mar.20030
  62. B. Yoo and N. Donthu, "Developing a scale to measure the perceived quality of an Internet shopping site (SITEQUAL)," Quarterly journal of electronic commerce, vol. 2, no. 1, pp. 31-45, 2001.