Development of Safety Activity Application and Usability Evaluation to Improve Risk Perception for Industrial Accident Prevention

산업재해 예방을 위한 위험 지각 증진 안전 활동 어플리케이션 개발 및 사용성 평가

Abstract

Purpose: The purpose of this study is to introduce the structure and functions of an application developed for enhancing risk knowledge/perception, called KNOWRISK, and to identify and determine problems and requirements based on the usability evaluation results of the application. Method: The evaluation was conducted using the Mobile App Rating Scale (MARS) with a sample of 43 application users and related experts. Result: The application received a satisfactory evaluation score with an overall average of 4.074 points, and there was no significant difference in evaluation scores between experts and users. The highest score was for ease of use at 4.47, while the lowest score was for cost payment usage at 2.88. Conclusion: The results of this study suggest that efforts to increase risk knowledge and promote safe behavior using a mobile application can be an effective and efficient strategy for preventing industrial accidents and enhancing safety management.

연구목적:본 연구의 목적은 위험 지식/지각 증진을 위하여 개발된 어플리케이션(KNOWRISK)의 구성과 기능을 소개하고 본 어플리케이션의 사용성 평가 결과를 바탕으로 문제 및 요구사항을 파악 및 결정하는 것이다. 연구방법: 어플리케이션 사용자와 관련 전문가 43명을 대상으로 MARS를 활용하여 평가를 진행하였다. 연구결과: 전체 평균 4.074점으로 만족스러운 평가 점수를 받았고 전문가와 사용자 간에 평가 점수에 유의미한 차이가 없었다. 높은 점수는 사용하기 쉬움이 4.47이었고, 비용 지불 사용이 2.88점으로 가장 낮았다. 결론: 본 연구 결과는 모바일 어플리케이션을 이용한 위험지식 증가와 안전행동 증진 노력이 근로자의 산업재해를 예방하고 안전관리에 효과적이고 효율적인 전략으로 사용될 수 있음을 시사한다.

서론

정부는 2026년까지 사망사고 만인율을 OECD 국가 평균 수준(0.29‱)까지 감축하는 중대 재해 감축 로드맵을 발표하였다(Ministry of Employment and Labor, 2022). 하지만 산업 재해율은 2017년 이후 다시 증가하고 있고 2022년 한 해 2,223명이 사망하였다(Fig. 1 참조). 기업의 경우 중대 재해가 발생하면 치료비와 보상금 지급, 사고 조사와 영업 정지로 인한 생산계획 차질 등으로 직접적인 손실을 입게 된다. 이외에 근로자들의 사기 저하, 외상후 스트레스 장애, 근로자 대체에 따른 선발 비용, 시행착오, 기업 이미지와 신뢰도 저하로 인해 간접적인 손실도 발생한다(Moon et al., 2013). 이러한 산업재해로 인한 직ㆍ간접 경제적 손실 추정액은 32조 2647억원으로 (Division of Occupational Safety and Health Policy, 2022), 재해자 1인당 약 2억 6350만원의 피해가 발생한다. 공단에서 산출하는 간접 손실액은 하인리히 방식에 근거하여 직접 손실액의 4배로 계상하고 있다. 하지만 Bird et al.(1984)에 따르면 간접 손실액의 비율이 1:5-1:53까지 가능하다고 하였다.

Fig. 1. Percentage of Industrial Accident and Number of Deaths after 2000 Year

이러한 산업재해의 주요 원인은 불안전 행동(70~88%)(Heinrich et al., 1980; McSween, 2003)으로 다양한 산업 장면에서 공학적, 정책적 접근을 넘어 인적 요인에 중점을 둔 개입이 산업재해 감소에 효과적이었다(Sasson et al., 2005; Cooper, 2006; Lebbon et al., 2012; Hagge et al., 2017). 즉 근로자들이 불안전 행동이 아닌 안전 행동을 할 수 있도록 하는 것이 사고 예방에 필수적이다(Kim et al., 2022). 근로자 안전 행동은 위험에 대한 지식과 위험성에 대한 지각에서 출발한다. 위험 지식은 특정 상황이나 조건 그리고 물체의 위험(위험 발생 요인과 의미, 피해, 대처 요령 등)에 대해 개인이 알고 있는 정도로 정의(Park et al., 2018)되고, 위험 지각은 특정 위험물 혹은 위험 상황에 대한 특성과 중요성에 대한 주관적인 평가(Slovic et al., 2002)로 정의 된다. Geller(2016)는 안전 행동 변화를 4단계(무의식적 불안전-의식적 불안전-의식적 안전-무의식적 안전)로 구분하였다. 가장 낮은 단계인 무의식적 불안전 행동은 어떤 행동 및 상태가 안전한지에 대한 지식이 없어 위험 지각이 낮은 경우에 발생한다. 위험 지식과 지각은 위험 판단 및 결정에 중요한 역할을 하며(Slovic et al., 2002), 위험 지각 수준은 위험에서 벗어나기 위한 특정 행동을 하도록 동기를 유발(Witte, 1994; Rimal et al., 2003)하기 때문에 대응 행동 예측의 대표적인 지표가 된다. 산업 현장에서 위험에 대한 오판은 사고와 같은 부정적인 결과를 야기하는 불안전 행동을 유발한다(Rundmo, 1995). 특히 위험 지식/지각에 따라 대응 행동이 달라질 수 있기 때문에 위험 상황 및 위험물을 다루는 데 매우 중요하다.

이러한 위험 지식과 지각을 증진시키기 위해 안전 교육이 필요하다. 효과적인 안전 교육은 위험 지각과 안전 행동 증진에 긍정적인 영향을 미친다. 메타 분석 연구 결과(Hutchinson et al., 2022), 산업 안전 교육과 훈련은 안전 동기, 안전 지식, 안전 순응과 참여 행동, 안전 분위기에 긍정적인 영향을 미치고, 특히 안전 지식과 동기에 큰 영향을 미쳤다. 그리고 안전 교육에 참여한 근로자가 교육 내용을 이해하고, 실용적이고 유용하다고 인식할 경우 작업에 더 많은 주의를 기울이는 모습을 보였다(Tam et al., 2012). 이 외에도 안전 교육에 불참한 근로자가 안전 조치에 더욱 적대적인 모습을 보이기 때문에(Cecchini et al., 2018) 안전 태도 증진을 위해서는 효과적이고 효율적인 안전 교육이 필요하다. 이러한 연구 결과들은 안전의식과 안전 행동은 안전에 대한 체계적인 지식을 바탕으로 형성될 수 있다는 것을 의미한다.

하지만 국내 산업 안전 교육의 효과성을 검증한 연구는 매우 부족하고, 주로 설문 조사를 통한 현황 파악과 관계성에 대한 연구로 실질적인 위험 지식, 위험 지각과 행동 변화를 이끌어 내는 처치방안이나 프로그램은 부족하였다. 일부 연구에서도 더 효과적이고 효율적인 안전 교육 방안이 필요하다는 것을 강조하고 있다. Lee et al.(2007)의 중소기업 직원들을 대상으로 한 연구에서는 안전교육 및 훈련은 정기적으로 실시되지만 만족도는 낮은 것으로 나타났다. Heo(2014)의 연구에서도 응답자의 48%는 안전 교육이 매우 형식적이고 제대로 이루어지지 않는다고 하였다. Choi et al.(2019)은 대부분의 안전 교육이 정해진 일정에 대상자들을 모집하여 대규모 강의 형식으로 진행하거나 유인물, 동영상 등을 제공하는 일방향적 지식 전달 위주로 교육이 진행되고 있어, 학습 만족도가 낮고 종합적으로 교육 효과가 낮다고 하였다. Lee et al.(2007)은 근로자가 능동적, 자발적으로 안전 교육에 참여할 수 있는 실제적이고도 다양한 안전 교육 프로그램이 필요하다고 하였고, Jang et al.(2021)도 안전 교육에서는 능동적 참여형태, 확장형이 가장 효과적인 결과를 낼 수 있을 것이라고 하였다.

2022년 한국 성인 스마트폰 사용률이 97%에 이르고(Gallup, 2022) 최근 라이프스타일과 관련하여 생활 밀착형 관리 시스템 지원의 필요성이 대두되어(Lee et al., 2018), 거의 모든 분야에서 모바일 어플리케이션을 사용하게 되었다(Cho, 2018). 안전 관리 분야에서도 모바일 서비스 제공이 증가하고 있다. 어플리케이션 스토어에서 키워드 ‘안전’, ‘위험’, ‘보건’ 등으로 검색된 대표 어플들의 개발목적과 구성 및 주요 기능을 검토하였다(Table 1 참조). 안전교육 자료를 제공하는 정보 제공 어플이 다수였고, 일상생활 속 위험요소를 신고하는 어플이나 관리자와 사용자 간 상호 교류 기능을 포함한 어플도 존재했다. 어플의 구성 및 주요 기능을 검토한 결과, 안전 및 재난정보를 제공하거나 안전 위험요소를 공유 및 신고하는 기능이 다수였지만, 일방향적인 정보전달에 그쳐 각 현장에 밀착된 정보를 전달하는 현장 맞춤형은 부족했다. 또한 사용자들이 직접 참여하여 위험요소를 신고하거나 공유하는 기능이 있었지만, 지속적인 참여를 유도하기 위한 동기부여 요소도 없었다.

Table 1. Composition and function of representative safety application

이에 본 연구에서는 근로자들의 작업 현장에 존재하는 위험 요인에 대한 지식을 학습하고 이를 바탕으로 위험 지각 증진을 통해 안전행동을 할 수 있도록 하는 참여형 모바일 위험 지식/지각 증진 어플리케이션을 개발하였다. 특히 사용자의 접근 용이성 및 피드백 제공을 위한 방법으로 e-러닝과 게임화를 접목하여 학습 효과를 증진시킴(Ho et al., 2010; Floyde et al., 2013; Steinberger et al., 2017)과 동시에 직접 관찰은 아니지만 현장의 사진과 영상을 바탕으로 대리 관찰을 통해 위험에 대한 학습 효과를 향상시키고자 하였다. 또한 위험 학습과 관련된 추가적인 안전 활동을 할 수 있도록 동기 부여방안을 포함하였으며, 각 기업의 안전훈련 관리를 위한 자료를 확보할 수 있는 방안도 모색하였다. 하지만 어플이 개발되었더라도 현장에서 적용되고 지속적으로 활용이 되기 위해서는 사용성 평가Usability Evaluation)의 측정이 요구된다(Cho, 2017). 사용성 평가를 통해 본 어플리케이션의 사용성을 측정하고, 문제 및 요구사항을 파악하며 추가적으로 어플리케이션의 기대되는 사용 효과와 다양한 사용성 평가 하위 요인들 간의 관계성 및 전문가와 사용자 집단 간에 사용성 평가와 사용 효과에 어떤 차이가 있는지를 검증하였다.

연구 방법

연구 대상

본 연구는 어플리케이션 사용자와 관련 전문가를 대상으로 사용성 평가를 진행하였다. 참가자 중 현장관리감독자, 작업자(근로자), 안전/보건 관리자 등은 어플리케이션 사용자 집단으로, 어플 개발 전문가(UX, UI 전문가, 프로그래머, 기획자), 안전 관련 전문가(기사, 기술사, 연구자)는 전문가 집단으로 구분하였다. 총 50명에게 사용성 평가 링크를 보내 평가를 요청하였다. 전체 문항을 모두 응답하지 않은 불성실 응답자 7명을 제외한 43명의 유효응답 자료를 최종 분석에 활용하였다.

연구 도구

노우리스크 어플리케이션

‘KNOWRISK’(www.knowrisk.co.kr)는 산업재해 예방을 위해 근로자의 위험 지식과 지각을 증진하고자 개발되었다. 현장에 존재하는 위험 지식을 능동적으로 학습하여 위험을 스스로 자각할 수 있는 역량을 향상하고 추가 안전 활동에 참여하게 하여 궁극적으로 안전 행동을 증진시키는 데 도움이 될 수 있다. KNOWRISK의 주요 기능은 일곱 가지이다. 먼저, ‘안전 학습’과 ‘안전 퀴즈 풀기’는 사용자의 학습 활동에 도움이 된다. ‘안전 학습’에는 각종 안전 지식 및 관련 법률을 학습할 수 있는 교육 영상 자료가 업로드 되어있다. ‘안전 퀴즈 풀기’를 통하여 현장에 존재하는 위험요소와 적절한 조치 방법을 학습할 수 있으며, ‘안전 퀴즈 내기’, ‘나의 안전메시지’, ‘신고하기/공지사항’은 어플리케이션 관리자와 양방향 소통이 가능한 참여 활동이다. 이러한 기능을 통해 근로자들이 현장 위험을 반영한 퀴즈를 직접 출제하거나, 동료들에게 안전 동기를 부여하는 메시지를 작성하여 홈 화면에 노출시킬 수 있고, 현장 위험 요소를 즉각 신고하여 관리자가 이를 확인하게 할 수 있다. 마지막으로, 어플리케이션 사용을 통해 지급받은 하트 개수에 대한 피드백을 받고, 동료들의 하트 개수를 확인하는 ‘나의 하트’와 하트를 소비하여 상품을 구입하는 ‘하트샵’이 있다(Table 2 참조).

Table 2. Main function of KNOWRISK

본 어플리케이션과 기존 안전 분야 어플의 가장 큰 차별점은 현장 맞춤형, 동기부여형, 그리고 참여형 어플리케이션이라는 것이다. 제공된 안전 교육 자료를 시청하거나 위험 요인을 신고하고, 각종 안전 및 재난정보를 수신하는 기능들은 기존 어플리케이션들의 공통적인 기능이다. 하지만 안전 지식이 근로자의 안전행동과 조직의 안전문화 등의 변화로 이어지기 위해서는 그 내용이 개인에게 유용하고 실제 적용 가능해야 한다는 점과 지속적인 행동의 유지 측면에서 위 어플리케이션들은 한계점을 가진다. 따라서 KNOWRISK는 각 기업의 실제 현장에서 찾을 수 있는 구체적인 상태와 행동의 사진과 동영상을 활용하여 퀴즈가 출제되었다. 특히 사용자들이 직접 문제를 출제할 수 있도록 하여 일방향적인 정보의 전달이 아닌 참여형으로 제작하였다. 참여형 기능이 활성화됨에 따라 조직 내에 안전 소통 문화가 증진될 수 있다. 추가적으로 본인의 활동에 대한 점수화와 피드백, 등급과 랭킹, 사회 비교 피드백과 더불어 동기 부여 방안을 추가하였으며, 활동에 대한 하트를 지급하고, 이 하트를 자신이 원하는 보상과 교환할 수 있도록 하여 근로자들이 어플리케이션 사용과 안전 활동을 지속할 수 있도록 동기를 부여하였다. 이러한 기능들은 개인들의 안전 지식과 위험 지각을 증진 시키는 데에 있어 적극적이고 능동적인 태도를 갖도록 동기를 부여하고 관련 행동들을 지속시켜 궁극적으로. 조직의 안전 문화를 형성하는 데 도움이 될 수 있다.

어플리케이션의 사용성 평가

KNOWRISK 어플리케이션의 사용성 평가를 위하여 기존의 모바일 어플리케이션 등급척도(MARS: Mobile Application Rating Scale)를 사용하였다. MARS는 Stoyanov et al.(2015)이 개발한 어플리케이션 평가 설문지이며, 단순하고, 객관적이며, 신뢰할 수 있는 도구로서 새로운 고품질의 애플리케이션을 개발하는 데 체크리스트로도 사용할 수 있다. MARS는 전문가용과 사용자용 2종류가 있다. 본 연구에서는 전문가용에서 본 연구와 맞지 않은 1문항을 제외하고 사용하였다. 설문은 기본 인적 사항 5문항, 심미성 3문항, 기능성 4문항, 참여 4문항, 정보 6문항, 주관적인 질 4문항, 목적 달성 6문항, 총 32문항으로 5점 리커트 척도(1번:매우 낮음, 2번:낮음, 3번:보통, 4번:높음, 5번:매우 높음)로 측정하였다. 각 하위 영역의 평균과 표준편차, 사용자들의 추가적인 의견을 수집하여 어플리케이션의 사용성을 평가하였다.

자료 수집 방법 및 분석 방법

연구 대상자의 윤리적 고려를 위해 연구 진행 전에 본 연구의 목적과 방법을 설명하고 이에 자발적으로 동의한 대상자들에게만 동의를 받은 후 조사를 진행하였다. 조사는 2023년 2월 10일부터 20일까지 수행되었으며, 연구 참가자들에게 어플리케이션의 설치방법과 주요 기능이 포함된 사용 메뉴얼을 전달하고 1주일간 사용 후 온라인 설문 조사에 응답하는 방식으로 진행되었다. 사용성 평가는 전문가와 사용자 두 집단에 각각 따로 실시하였고, 빈도분석, 기술통계, t-test, 상관관계 분석을 실시하였다. 자료 분석에는 IBM의 SPSS version 25.0을 사용하였다.

연구결과

연구 대상자의 인구 통계학적 특성

본 연구 대상자의 성별은 총 43명 중 남성이 30명(69.8%), 여성이 13명(30.2%)이었다. 평균 연령은 36.4세였고, 20대 18명(41.9%), 30대 7명(16.3%), 40대 10명(23.3%), 50대 이상 8명(18.6%)이었다. 경력은 1년 이하와 2-3년이 각각 10명(23.3%)으로 가장 많았고, 20년 이상이 9명(20.9%), 10-19년이 7명(16.3%) 순이었다. 학력은 대학교 졸업이 24명(55.8%), 석사 8명(18.6%), 박사 5명(11.6%), 고등학교 졸업 4명(9.3%), 전문대학 졸업이 2명(4.7%)이었다. 지위는 안전 관련 전문가가 22명(51.2%), 관리감독자 8명(18.6%), 어플개발 관련 종사자 7명(16.3%), 근로자 6명(14.0%)으로 나타났다(Table 3 참조).

Table 3. General characteristics of experts and users

사용자 및 전문가 대상 사용성 평가 결과

전문가 29명을 대상으로 한 사용성 평가 결과 5점 만점에 4.09(SD=.47)로 대부분의 문항에서 3.0 이상의 평가를 받았다. 그중 기능성(functionality)과 정보 영역(information)이 각각 평균 4.39(SD=.38)와 4.22(SD=.64)로 높게 나타난 반면, 주관적 앱의 질 영역(subjective quality)은 평균 3.72(SD=.60)로 가장 낮았다. 사용자는 관리감독자 8명과 근로자 6명 총 14명으로, 평가 결과 4.01(SD=.48)점으로 전문가 평가 점수보다 낮게 나타났다. 전문가와 동일하게 기능성과 정보 영역의 평균이 각각 4.39(SD=.51)와 4.18(SD=.46)로 높게 나타났고, 주관적 앱의 질 영역이 평균 3.43(SD=.82)으로 가장 낮았다. 추가 분석 결과 모든 하위 요인에서 전문가와 사용자 간 평균 점수에 유의미한 차이가 없었다(Table 4 참조).

Table 4. Result of t-test on main variables between experts and users

문항별 사용성 평가 결과

사용성 평가의 문항별 결과를 구체적으로 살펴보면, ‘기능성’ 영역에서 ‘앱을 어떻게 사용하는지 배우기 쉬웠습니까? 메뉴, 아이콘, 사용이 쉬웠습니까?’를 묻는 문항과 ‘두드리기/넘기기/손가락 확대, 축소/스크롤 기능 등이 이해하기 쉬웠습니까? 모든 화면에서 일관성 있게 적용됩니까?’를 묻는 손가락 제스처 기능에 대한 문항의 평균 점수가 각각 4.47(SD=.63)점과 4.44(SD=.55)점으로 가장 높게 나타났다. 반면, ‘주관적인 앱의 질’ 영역에서 ‘비용을 지불하고 앱을 사용할 생각이 있습니까?’를 묻는 문항에 대해서는 평균 2.88(SD=1.03)로 가장 낮은 점수를 보였다. 그 외의 모든 문항에서는 3.7 이상의 점수를 받았고, 28개의 문항 중 20개의 문항은 4.0 이상의 높은 점수를 받았다(Table 5 참조). 추가적으로 응답자들의 어플 수정 관련하여 심미성 영역에서는 레이아웃(배치)에 관한 수정 의견, 참여관심유도 영역에서는 상호작용에 관한 기능 추가 의견, 정보 영역에서 자료원의 신뢰성 증진을 위한 출처 명시 등에 대한 응답자의 의견을 확인하였다.

Table 5. Result of evaluation: Means and standard deviations of each item(n=43)

주요 변인 간 상관관계 분석

Table 6에는 주요 변인들 간의 상관관계 분석 결과가 제시되어 있다. 사용성 평가의 하위 영역으로 사용한 심미성, 기능성, 참여관심, 정보, 주관적 앱의 질, 목적달성 간에는 모두 p<.01수준에서 유의미한 정적 상관관계가 있었다. 특히, 참여관심과 정보(r=.792), 주관적 앱의 질과 목적 달성(r=.717), 참여관심과 주관적 앱의 질(r=.710) 간에 높은 수준의 정적 상관관계가 나타났다. 목적달성과는 주관적 앱의 질(r=.717), 정보(r=.636), 참여관심(r=.616)의 상관관계가 심미성과 기능성 보다 더 컸다. 그리고 나이와 경력에 따른 심미성, 정보, 목적 달성과의 상관관계를 분석한 결과 유의미한 부적 상관관계를 보였다.

Table 6. The means and standard deviations of main variables and result of correlation analysis

*p<.05, **p<.01, 남성은 1, 여성은 2로 코딩됨.

결론 및 제언

본 연구의 목적은 위험 지식/지각 증진을 위하여 개발된 어플리케이션의 구성과 기능을 소개하고 본 어플리케이션의 사용성 평가 결과를 바탕으로 문제 및 요구사항을 파악 및 결정하는 것이다. 사용성 평가 결과, 전문가(M=4.11)와 사용자(M=4.00) 간에 평가 점수에 유의미한 차이가 없었고, 두 집단 모두에게 높은 점수를 받았으며 기능성과 정보 영역의 점수가 특히 높았다. 문항별 분석에서 가장 높은 점수는 사용하기 쉬움이 4.47이었고, 비용 지불 사용이 2.88점으로 가장 낮았으며 어플 수정 관련 의견으로는 심미성, 참여관심유도, 정보 영역에 대한 의견이 많았다.

MARS는 평균 3.0보다 점수가 높으면 만족스러운 평가로 정의된다(Stoyanov et al., 2015). 전체 사용성 평가 평균이 4.074점으로 만족스러운 평가 점수를 받았다고 할 수 있다. 그리고 어플리케이션 이용자의 능동성이 안전 학습에 큰 영향을 미치기 때문에 사용성 평가 대부분의 문항에서 높은 점수를 받았다는 점에서 KNOWRISK가 현장의 근로자들이 안전 지식과 위험 지식을 증가시키고 궁극적으로 안전 행동을 증진하는 데 긍정적인 영향을 미칠 것으로 기대할 수 있다(Kwon et al., 2019). 특히 위험 지식이나 지각이 안전 행동에 미치는 영향에 대한 선행 연구들을 살펴보면 대부분 설문 조사를 바탕으로 한 상관관계 연구들이 주를 이뤄왔고 위험지식이나 지각을 직접적으로 증진시키는 처치 기법이나 프로그램 등은 부족하였다. 따라서 본 연구에서 개발한 어플리케이션이 추후 산업 재해 예방을 위한 위험지각 증진에 도움을 제공할 수 있을 것이다. 산업 재해 예방과 관련된 안전 어플에 대한 연구가 없어 직접 비교하기가 어렵지만 낙상 예방 관련 어플 사용성 평가 연구에서 7점 만점에서 평균 5.45점 이었고(5점 만점으로 환산 시 3.893점), 미세먼지 어플들에 대한 사용성 평가 연구(Lee et al., 2021)에서도 5점 만점에서 3.3-3.8점을 보였다. 이러한 기존 안전/보건 어플 보다는 더 높은 점수를 보인 것은 긍정적으로 평가할 수 있다. 하지만 주관적 앱의 질에서 유료로 본 앱을 사용할 것인지에 대한 질문에서는 2.88점으로 3.0보다 낮은 점수가 도출되었다. 따라서 본 어플의 유료화를 위해서는 사용자가 금액을 지불할 수 있을 만한 추가적인 기능이 필요할 것으로 판단된다. 예를 들어 관리자 안전 행동 관찰 기능 및 관찰 자료 피드백 제공 등 좀 더 고도화된 기능들이 필요하고, 어떤 기능을 가장 필요로 하는지에 대한 추가적인 조사가 필요할 것으로 판단된다. 특히 본 연구는 어플리케이션 보급 전 1차 사용성 평가로 어플의 오류 및 수정 의견에 대한 지속적인 보완이 필요하다. 그리고 안전 관리를 위한 기존 어플리케이션에 비해 사용성의 어떤 측면이 뛰어난 지 부족한 측면이 있는지에 대한 추가적인 검증 역시 필요하다. 이러한 후속 연구를 통해 더 나은 기능과 사용성을 보이는 어플리케이션이 될 수 있을 것이다.

추가적으로 어플리케이션의 목적 달성과는 주관적 앱의 질, 정보, 참여관심의 상관관계가 심미성과 기능성보다 더 높은 것으로 나타났다. 이는 추후 어플 개발의 목적 달성을 위해서는 양질의 현장 밀착형 안전 교육 정보(사진과 동영상)를 제공하고, 어플 기능에 사용자의 관심을 끌 수 있고 그들이 참여할 수 있는 기능들을 중요하게 고려할 필요가 있다. 본 연구에서도 평가 참가자들의 의견 중에 카메라 연동 및 음성인식 기능과 좋아요 기능, 자유게시판, 대화하기 채널 등 직접적인 상호작용이 가능한 기능을 추가해야 한다는 의견 등이 있었다. 비록 본 연구결과에 국한된 결과이긴 하지만 다른 어플을 개발할 때도 이러한 결과들을 고려할 필요가 있을 것이다.

다만, 본 연구 결과를 일반화하기 위해서는 다음과 같은 제한점들을 고려할 필요가 있다. 우선 본 연구의 연구 대상자 수가 상대적으로 적었다. 특히 현장에서 일하는 관리감독자, 근로자, 어플개발 관련 종사자들의 참가자 수가 10명 이하로 부족하였다. 비록 본 연구에서 전문가와 현장 사용자들 간의 평가 점수에는 차이가 없었지만 추후 연구에는 본 연구에서 나온 수정 의견을 보완하여 고도화한 후 더 많은 수의 현장 관리자와 근로자들을 대상으로 한 사용성 평가가 이뤄질 필요가 있다.

또한 어플리케이션 사용자의 나이, 경력 등을 고려한 사용성 평가가 요구된다. 본 연구에서는 나이가 많을수록, 경력이 오래될수록 사용성 평가 점수가 낮아지는 것으로 나타났다. 따라서 나이가 많은 근로자와 관리자들의 특성을 고려하여 어플리케이션이 수정될 필요가 있고, 나이대별 세부적인 위험성 평가가 필요하다. 하지만 본 연구 참가자의 남녀별, 나이대별, 경력기간별 불균형이 있기 때문에, 특히 경력 4-5년이 4명, 5-10년이 3명으로 대상자의 수가 극히 적어, 본 연구의 결과를 해석하는 데 유의할 필요가 있다. 따라서 추후 연구에서는 더 많은 참가자들을 대상으로 한 연구가 이뤄질 필요가 있다.

이 외에도 본 연구에서 사용한 MARS 외에도 전문가에게 주로 사용하는 휴리스틱 평가방법(Bowman et al., 2002), 대표작업 평가 방법(Hix et al., 1993)등 다양한 방법들이 있다. 추후 연구에서는 다양한 방법들을 동시에 사용하여 여러 평가 방법들에서도 동일한 평가 결과가 도출되는지 확인할 필요가 있다. 추가적으로 어플이 실질적인 산업재해 예방에 어느 정도 효과가 있는지, 어느 정도 사용을 했을 때 효과를 보일 수 있는지에 대한 후속 연구가 필요한 상황이다.

이러한 제한점에도 불구하고 본 연구의 결과들은 현재 시점에서 본 어플리케이션이 사용자의 요구 수준을 충분히 만족시킬 수 있다는 것을 제시하고 있으며, 향후 본 어플리케이션이 실제 기업에 제공되고 대규모의 사용성 평가를 진행할 때 기초정보가 될 수 있을 것이다. 그리고 모바일 어플리케이션을 이용한 위험지식 증가와 안전행동 증진 노력은 근로자의 산업재해를 예방하고 안전관리에 효과적이고 효율적인 도구로 사용될 수 있을 것이다.