Journal of Information Technology Services (한국IT서비스학회지)

Korea Society of IT Services (한국IT서비스학회)
권호 표지
DOI QR코드

DOI QR Code

Evaluation of Public Information Security Training Programs : A Case Study

공공부문 정보보호 교육과정의 평가 : 사례 연구

  • 이송하 (충북대학교 경영정보학과) ;
  • 전효정 (충북대학교 경영정보학과) ;
  • 김태성 (충북대학교 경영정보학과, 보안경제연구소)
  • Received : 2019.10.17
  • Accepted : 2019.12.21
  • Published : 2020.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

It is very important to evaluate training because it can systematically grasp the current status of training. Evaluation includes getting ongoing feedback from the learner, trainer and learner's supervisor, to improve the quality of the training and identify if the learner achieved the goals of the training. It also provides a justification for the implementation of training. Nonetheless, there is a lack of studies that attempt to evaluate information security training programs. In this study, we utilize the Philips model to evaluate the public training programs for the people who are in charge of the information security duties in the public sector and propose the training improvement plans. Research result has shown that it is necessary to evaluate the level of the trainees in advance and conduct training programs according to the information security skill level. In addition, it needs to conduct training according to duties such as information security management, information security operate and maintain. The limitation of this study is that each education program was not assessed individually because this study had developed an evaluation tool that could be used comprehensively.

Keywords

References

  1. 감사원, "감사보고서 : 국가 사이버안전 관리 실태", 2016.
  2. 고기순, 김인호, "교육․훈련의 실무전이에 관한 연구", 인사관리연구, 제26권, 제3호, 2002, 25-54.
  3. 기획재정부, 2014 공공기관 경영평가편람, 2014.
  4. 김광용, 이경락, "교육․훈련활동과 기업성과의 관계", 디지털융복합연구, 제11권, 제5호, 2013, 267-277. https://doi.org/10.14400/JDPM.2013.11.5.267
  5. 김동우, 채승완, 류재철, "국내 정보보호 교육체계 연구", 정보보호학회논문지, 제23권, 제3호, 2013, 545-559. https://doi.org/10.13089/JKIISC.2013.23.3.545
  6. 김소영, 이영민, 최영섭, 홍성민, "CIPP 평가모형과 Kirkpatrick 평가 모형을 활용한 중소기업 훈련 컨소시엄 사업의 성과 평가 연구", 직업교육연구, 제30권, 제1호, 2011, 51-74.
  7. 김진모, 박종선, 황영훈, "효과성, 효율성을 활용한 임업훈련원 교육성과평가 모형 개발", 농업교육과 인적자원개발, 제46권, 제2호, 2006, 47-70.
  8. 민경석, 최대현, 문경환, "경찰교육훈련 평가지표에 관한 연구 : Kirkpatrick 모형에 기반하여", 경찰학논총, 제10호, 제2권, 2015, 7-33.
  9. 박천오, 최호진, "한국 공무원 교육․훈련의 효과성에 관한 실증 조사-공무원의 인식을 중심으로", 한국행정논집, 제14권, 제4호, 2002, 939-959.
  10. 배을규, 김대영, "통합적 평가 접근법을 활용한 HRD 프로그램 평가 모형 개발 : 학교 사회 예술강사 기본 연수 평가 모형 개발 사례를 중심으로", HRD 연구, 제16권, 제4호, 2014, 25-50.
  11. 배호순, "교육프로그램 평가론", 서울 : 원미사, 2008.
  12. 송지준, "논문작성에 필요한 SPSS/AMOS 통계분석방법", 21세기사, 2016.
  13. 오성호, "인사행정의 과제와 전망 : 공무원 교육․훈련체계와 그 개선", 한국행정연구, 제6권, 제3호, 1997, 23-40.
  14. 이성흠, "교육, 훈련프로그램 반응평가를 위한 평가 범주와질문지개발준거", 교육공학연구, 제21권, 제3호, 2005, 187-214.
  15. 이성흠, "교육, 훈련프로그램 반응평가를 위한 평가 범주와 질문지 개발 준거", 교육공학연구, 제21권, 제3호, 2005, 187-214.
  16. 이홍재, 박미경, 차용진, "개인정보보호 교육훈련 평가모형 및 측정에 관한 탐색적 연구 : CIPP 평가모형 적용 및 검증을 중심으로", 한국인사행정학회보, 제15권, 제1호, 2016, 61-88.
  17. 이홍재, 이현철, 차용진, "지방자치단체 개인정보보호 교육 성과에 관한 연구", 한국행정연구, 제24권, 제1호, 2015, 173-196. https://doi.org/10.22897/KIPAJN.2015.24.1.006
  18. 임명성, "정보보안 인식 교육의 효과에 대한 연구", 디지털융복합연구, 제12권, 제2호, 2014, 27-37. https://doi.org/10.14400/JDC.2014.12.2.27
  19. 임효창, 이인석, 박경규, "기업내 e-learning 의 반응, 학습성과 및 전이성과간 관계 : 교육참가자의 개인특성 및 조직환경의 조절효과를 중심으로", 조직과 인사관리연구, 제28권, 2004, 1-32.
  20. 전효정, 김태성, "정보보호 업무인력의 경력개발을 위한 재교육 방향", Journal of Information Technology Applications and Management, 제25권, 제4호, 2018, 67-77.
  21. 전효정, 김태성, 박기태, "행정기관의 정보보호 담당인력을 어떻게 관리할 것인가?", 한국IT서비스학회지, 제18권, 제4호, 2019, 55-66. https://doi.org/10.9716/KITS.2019.18.4.055
  22. Arthur Jr, W., Bennett Jr, W., P.S. Edens, and S.T. Bell, "Effectiveness of training in organizations : A meta-analysis of design and evaluation features", Journal of Applied Psychology, Vol.88, No.2, 2003, 234-245. https://doi.org/10.1037/0021-9010.88.2.234
  23. Chochard, Y. and E. Davoine, "Variables influencing the return on investment in management training programs : a utility analysis of 10 Swiss cases", International Journal of Training and Development, Vol.15, No.3, 2011, 225-243. http://www.solarwinds.com/assets/infographics/cybersecurity-in-the-federal-government.aspx(2019. 8. 1. 방문). https://doi.org/10.1111/j.1468-2419.2011.00379.x
  24. Kirkpatrick, D.L. and J.D. Kirkpatrick, Evaluating Training Programs : The Four Levels (3rd Edition), Berrett-Koehler Publisher, Inc., 1994.
  25. National Initiative for Cybersecurity Education (NICE), The National Cybersecurity Workforce Framework 2.0, 2013.
  26. National Institute of Standards and Technology (NIST), A Role-Based Model for Federal Information Technology/Cybersecurity Training (3rd Draft), 2014.
  27. Noe, R.A., "Trainees' Attributes and Attitudes : Neglected Influences on Training Effectiveness", Academy of Management Review, Vol.11, No.4, 1986, 739-749.
  28. Phillips, J.J. and P.P. Phillips, "The ROI methodology", In Handbook of Training Evaluation and Measurement Methods, Routledge, 2016.
  29. Phillips, J.J., Handbook of training evaluation and measurement methods, Routledge, 1991.
  30. Phillips, P.P. and J.J. Phillips, "Symposium on the evaluation of training : editorial", International Journal of Training and Development, Vol.5, No.4, 2001, 240-247. https://doi.org/10.1111/1468-2419.00136
  31. RAND Corporation, H4CKER5 WANTED : An Examination of the Cybersecurity Labor Market, 2014.
  32. ROI Institute Korea, "교육훈련평가와 HRD 성과 측정 전략", HRD포럼, 제290차, 2016.
  33. Saari, L.M., T.R. Johnson, S.D. McLaghlin, and D.M. Zimmerle, "A survey of management training and education practices in U.S. companies", Personnel Psychology, Vol.41, 1988, 731-743. https://doi.org/10.1111/j.1744-6570.1988.tb00650.x
  34. Sevilla, C. and T.D. Wells "Contracting to ensure training transfer", Training and Development, Vol.52, No.6, 1998, 10-11.
  35. Sorensen, S.E., "Comprehensive return on investment evaluation system for local self-government training in bosnia and herzegovina, Case : Project cycle management course", Performance Improvement, Vol.54, No.1, 2015, 14-27. https://doi.org/10.1002/pfi.21449
  36. Stufflebeam, D.L., "The CIPP model for evaluation", Evaluation Models, 2000, 279-317.
  37. Subramanian, K.S., V. Sinha, and P.D. Gupta, "A study on return on investment of training programme in a government enterprise in India", Vikalpa, Vol.37, No.1, 2012, 31-48. https://doi.org/10.1177/0256090920120103
  38. Van Wart, M., Changing Public Sector Values. Taylor and Francis, 1998.
  39. Watkins, R., D. Leigh, R. Foshay, and R. Kaufman, "Kirkpatrick plus : Evaluation and continuous improvement with a community focus", Educational Technology Research and Development, Vol.46, No.4, 1998, 90-96. https://doi.org/10.1007/BF02299676
  40. Zacharatos, A., J. Barling, and R.D. Iverson, "High-performance work systems and occupational safety", Journal of Applied Psychology, Vol.90, No.1, 2005, 77-93. https://doi.org/10.1037/0021-9010.90.1.77