학생 답안 분석과 정답 템플릿 생성에 의한 한국어 서답형 문항의 자동채점 시스템

DOI QR코드

DOI QR Code

강승식;장은서
Kang, SeungShik;Jang, EunSeo

  • 투고 : 2015.11.30
  • 심사 : 2016.04.05
  • 발행 : 2016.05.15

초록

본 논문은 컴퓨터 기반의 자동 채점 시스템을 실용적으로 활용할 수 있도록 자연어 처리 기술을 이용하여 채점 기준표 작성 과정을 쉽게 하고 수작업 채점 비용의 절감 및 채점 기간을 단축시키는 방법을 제안한다. 자동 채점의 기준이 되는 정답 템플릿은 학생들이 작성한 답안들로부터 쉽고 편리하게 작성할 수 있도록 하였으며, 채점 정확도를 향상시키고 채점 오류를 최소화하여 신뢰도를 높이고자 하였다. 수작업 채점 대신에 자동채점 시스템을 도입하였을 때 그 효용성을 검증하기 위하여 2014년도 국가수준 학업성취도 평가의 사회과목 답안에 대해 자동 채점을 수행하였다.

키워드

자동 채점;정답 템플릿;자연어 처리;형태소 분석

참고문헌

  1. M. K. Kim, D. N. Kim, Y. R. Kim, H. J. Kim, J. W. Lee, M. C. Seo, Y. D. Cho, S. M. Cho, I. S. Choi, I. H. Lee, Y. J. Lee and H. S. Koh, "A Study on the Developing Process of the 2012 National Assessment of Educational Achievement," Korea Institute for Curriculum and Evaluation, Research Report, RRE 2012-2-1, 2012. (in Korean)
  2. K. S. Kim, J. H. Kim and H. S. Kwak, "A Study on the Standardization of the 2012 National Assessment of Educational Achievement," Ministry of Education, Science and Technology Commissioned Project 2011-1, 2011. (in Korean)
  3. T. J. Sung, K. S. Yang, T. H. Kang, E. Y. Chung, A Survey of Computer-based Scoring Method of Free-text or Constructed Answers in Study - Advancement Evaluation, Korea Institute for Curriculum and Evaluation, Research Report, RRE 2010-1, 2010. (in Korean)
  4. E. H. Noh, J. H. Sim, M. H. Kim, J. H. Kim, A Prospect of the Developing an Automatic Scoring System for Korean Free-text Answers in a Largescale Evaluation, Korea Institute for Curriculum and Evaluation, Research Report, ORM 2012-92, 2012. (in Korean)
  5. C. Leacock and M. Chodorow, "C-rater: Automated Scoring of Short-Answer Questions," Computers and the Humanities 37.4, pp. 389-405, 2003. https://doi.org/10.1023/A:1025779619903
  6. J. Z. Sukkarieh and S. Stoyanchev, "Automating Model Building in c-rater," Proc. of the 2009 Workshop on Applied Textual Inference, pp. 61-69, 2009.
  7. S. Dikli, "An Overview of Automated Scoring of Essays," The Journal of Technology, Learning, and Assessment, Vol. 5, No. 1, pp. 1-36, 2006.
  8. Y. Attali and J. Burstein, "Automated Essay Scoring with E-rater V.2," The Journal of Technology, Learning, and Assessment, Vol. 4, No. 3, pp. 1-31, 2006.
  9. I. N. Park, S. S. Kang, E. H. Noh, M. H. Kim, and T. J. Seong, "Automatic Scoring System of Korean Short Answers by Answer Template Description," Journal of KIISE: Computing Practices and Letters, pp. 630-636, 2013. (in Korean)
  10. E. S. Jang, S. S. Kang, E. H Noh, M. H. Kim, K. H. Sung, and T. J. Seong, "KASS: Korean Automatic Scoring System for Short-answer Questions," Proc. of CSEDU 2014, pp. 226-230, 2014.