The Journal of Korean Association of Computer Education (컴퓨터교육학회논문지)

The Korean Association of Computer Education (한국컴퓨터교육학회)
권호 표지
DOI QR코드

DOI QR Code

Exploration of Predictive Model for Learning Achievement of Behavior Log Using Machine Learning in Video-based Learning Environment

동영상 기반 학습 환경에서 머신러닝을 활용한 행동로그의 학업성취 예측 모형 탐색

  • 이정은 (이화여자대학교 교육대학원 교육공학.HRD전공) ;
  • 김다솜 (이화여자대학교 일반대학원 교육공학과) ;
  • 조일현 (이화여자대학교 교육공학과)
  • Received : 2019.11.20
  • Accepted : 2020.03.23
  • Published : 2020.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

As online learning forms centered on video lectures become more common and constantly increasing, the video-based learning environment applying various educational methods is also changing and developing to enhance learning effectiveness. Learner's log data has emerged for measuring the effectiveness of education in the online learning environment, and various analysis methods of log data are important for learner's customized learning prescriptions. To this end, the study analyzed learner behavior data and predictions of achievement by machine learning in video-based learning environments. As a result, interactive behaviors such as video navigation and comment writing, and learner-led learning behaviors predicted achievement in common in each model. Based on the results, the study provided implications for the design of the video learning environment.

동영상 강의 중심의 온라인 학습 형태가 보편화 되고 지속적으로 증가됨에 따라 다양한 교육방법을 적용한 동영상 기반 학습 환경도 학습 효과성을 높이기 위해 변화, 발전하고 있다. 온라인 학습 환경에서의 교육 효과성 측정을 위해 학습자 로그 데이터가 대두되었으며, 학습자 맞춤형 학습 처방을 위해 로그 데이터의 다양한 분석 방법이 중요하다. 이를 위해 본 연구에서는 동영상 기반 학습 환경에서의 학습자 행동 데이터 분석, 머신러닝 기법에 따른 학업성취 예측을 실험을 통해 분석하였다. 분석 결과 각 모델에서 공통적으로 동영상 탐색과 코멘트 작성과 같은 상호작용 행동, 학습자 주도적 학습 행동이 학업성취를 예측하였다. 연구 결과를 토대로 동영상 학습 환경 설계에 있어 시사점을 제공하였다.

Keywords

References

  1. 산업통상자원부.정보통신산업진흥원 (2019). 2018년 이러닝 산업 실태조사. 세종:산업통상자원부.
  2. 조일현.김정현 (2013). 학습분석학을 활용한 e-러닝 학업성과 추정 모형의 통계적 유의성 확보 시점 규명. 교육공학연구, 29(2), 285-306.
  3. Zorrilla, M. E., Menasalvas, E., Marin, D., Mora, E., & Segovia, J. (2005). Web Usage Mining Project for Improving Web-Based Learning Sites. In Web Mining Workshop. Cataluna (pp.1-22).
  4. Romero, C., & Ventura, S. (2010). Educational data mining: A Review of The State-of-the-art. IEEE Transactions on Systems, Man and Cybernetics, 40(6), 601-618. https://doi.org/10.1109/TSMCC.2010.2053532
  5. 성한올.조일현 (2018). 온라인 학습 상황에서 행동 로그, 생리심리반응 및 시험불안을 통한 멀티모달 (Multimodal) 학업성취 예측모형 개발. 교육공학연구. 34(2), 287-308.
  6. 강혜영.이장익.김성완 (2012). 스마트교육 수용의도에 영향을 미치는 요인 간의 관계 분석. 한국컴퓨터정보학회 하계학술대회논문집. 20(2), 141-144.
  7. 김성현 (2009). 이러닝 학습자의 지각된 유용성과 용이성이 학습 몰입과 학습 만족도에 미치는 영향. 석사학위논문, 숙명여자대학교.
  8. 박성익.김연경 (2006). 온라인 학습에서 학습몰입요인, 몰입수준, 학업성취간의 관련성 탐구. 열린교육연구, 14(1), 93-115.
  9. 이은환.이종연 (2013). 스마트교육 환경에서 학습자 특성, 상호작용, 몰입, 지각된 유용성 및 학습만족도의 구조적 관계 분석-초등학교를 중심으로-. 교육정보미디어연구, 19(3), 573-603.
  10. 김선영 (2016). 융합(STEAM)형 디자인 교육을 위한 행동유도성 학습환경 고찰-노먼의 인지적 어포던스 디자인 이론을 중심으로-. 디자인융복합연구, 15(5), 105-118.
  11. Gibson, J. J. (1979). The Ecological Approach to Visual Perception. Houghton Mifflin, New York.
  12. Norman, D. A. (1988). The Psychology of Everyday Things. New York: Basic Books.
  13. Mishra P. & Koehler, M. J. (2006). Technological Pedagogical Content Knowledge: A Framework for Teacher Knowledge. Teachers College Record, 108(6), 1017-1054. https://doi.org/10.1111/j.1467-9620.2006.00684.x
  14. Brinton, C. G., & Chiang, M. (2015, April). MOOC performance prediction via clickstream data and social learning networks. In 2015 IEEE conference on computer communications (INFOCOM) (pp. 2299-2307). IEEE.
  15. Yoo, J. E. (2018). TIMSS 2011 Student and Teacher Pre dictors for Mathematics Achievement Explored and Identified via Elastic Net. Frontiers in Psychology, 9, 317. Retrieved from https://www.frontiersin.org/articles/10.3389/fpsyg.2018.00317/full
  16. Bzdok, D., Altman, N., & Krzywinski, M. (2018). Statistics Versus Machine Learning. Nature Methods, 15(4), 233-234. https://doi.org/10.1038/nmeth.4642
  17. 유진은 (2015). 랜덤 포레스트. 교육평가연구, 28(2), 427-448.
  18. Cutler, D. R., Edwards, T. C., Beard, K. H., Cutler, A., Hess, K. T., Gibson, J., & Lawler, J. J. (2007). Random forests for classification in ecology. Ecology, 88, 2783-2792. https://doi.org/10.1890/07-0539.1
  19. Strobl, C., Malley, J., & Tutz, G. (2009). An introduction to recursive partitioning: Rationale, application, and characteristics of classification and regression trees, bagging, and random forests. Psychological Methods, 14, 323-348. https://doi.org/10.1037/a0016973
  20. Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). New York: Springer.
  21. Mayer, R. E. (2009). Multimedia Learning (Vol. 2nd ed). Cambridge: Cambridge University Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true &db=e000xww&AN=400712& lang=ko&site=ehost-live
  22. Maniar, N., Bennett, E., Hand, S., & Allan, G. (2008). The Effect of Mobile Phone Screen Size on Video Based Learning. Journal of software,3(4), 51-61.
  23. 김지현 (2019). 동영상 기반 학습 환경에서 학습자의 시각 행동에 의한 입체적 학습과정 분석 및 학습성과 예측모형 개발. 석사학위 논문. 이화여자대학교.
  24. 임철일 (2001). 웹 기반 자기조절학습환경을 위한 설계 전략의 특성과 효과. 교육공학연구, 17(3), 53-83.
  25. 고호경 (2016). 스마트 기기 활용 시니어 수학 앱 개발을 위한 어포던스 설계 전략. E-수학교육 논문집, 30(1), 85-99.
  26. 박형주 (2012). 이러닝 콘텐츠 사용자 인터페이스의 교육적 사용성 증진을 위한 어포던스 설계 전략 개발. 박사학위논문. 중앙대학교.
  27. 민병택 (2007). 스마트 공간 환경에 있어 어포던스 디자인의 요인과 구조. 석사학위논문. 홍익대학교.
  28. 김성훈.김인수 (2013). 인지적 어포던스 기반의 인터랙티브 e-퍼블리싱 컨텐츠 디자인에 관한 연구. 디자인지식저널, 25, 355-366.
  29. 박성억 (2010). 공공기관 교육용 콘텐츠의 학습효과 증진을 위한 디자인 전략. 한국콘텐츠학회논문지, 10(3), 444-453. https://doi.org/10.5392/JKCA.2010.10.3.444
  30. Bower, M., & Hedberg, J. G. (2010). A Quantitative Multimodal Discourse Analysis of Teaching and Learning in a Web-conferencing Environment-the Efficacy of Student-centred Learning Designs. Computers & education, 54(2), 462-478. https://doi.org/10.1016/j.compedu.2009.08.030
  31. Black, E. W., Dawson, K., & Priem, J. (2008). Data for Free: Using LMS Activity Logs to Measure Community in Online Courses. The Internet and Higher Education, 11(2), 65-70. https://doi.org/10.1016/j.iheduc.2008.03.002
  32. Mesgari, M., & Okoli, C. (2015). Ecological Approach to User Sensemaking of Technology. In Proceeding of International Conference on Information Systems, 1-12.
  33. Bzdok, D., Altman, N., & Krzywinski, M. (2018). Statistics Versus Machine Learning. Nature Methods, 15(4), 233-234. https://doi.org/10.1038/nmeth.4642
  34. Yoo, J. E., & Rho, M. (2018). Exploration of Predictors to Teacher Job Satisfaction Using TALIS 2013 Korea Data. Presented at the 19th ICER(International Conference on Educational Research). Seoul, South Korea.
  35. 유진은 (2019). 기계학습: 대용량/패널자료와 학습분석 학 자료 분석으로의 활용. 교육공학연구, 35(2), 313-338.
  36. Kleftodimos A., & Evangelidis G. (2016) An Interactive Video-Based Learning Environment Supporting Learning Analytics: Insights Obtained from Analyzing Learner Activity Data. In State-of-the-Art and Future Directions of Smart Learning, 471-481.
  37. Zhang, D., Zhou, L., Briggs, R. O., & Nunamaker Jr, J. F. (2006). Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Information & management, 43(1), 15-27. https://doi.org/10.1016/j.im.2005.01.004
  38. 김다솜 (2019). 동영상 기반 학습 환경에서 지각된 어포던스를 통한 학업성취 예측모형 개발: 행동 로그와 안구 운동을 중심으로. 석사학위 논문. 이화여자대학교.
  39. Altman, D. G. (1991). Practical Statistics for Medical Research. London: Chapman and Hall.
  40. Archer, K. J., & Kimes, R. V. (2008). Empirical characterization of random forest variable importance measures. Computational Statistics & Data Analysis, 52(4), 2249-2260. https://doi.org/10.1016/j.csda.2007.08.015
  41. 조헌국 (2018). 머신 러닝을 활용한 이러닝 학습 환경에 서의 학습자 성취 예측 모형 탐색. 학습자중심교과교육연구, 18(21), 553-572.