DOI QR코드

DOI QR Code

Accuracy Improvement of an Automated Scoring System through Removing Duplicately Reported Errors

영작문 자동 채점 시스템에서의 중복 보고 오류 제거를 통한 성능 향상

  • 이현아 (금오공과대학교 컴퓨터공학부) ;
  • 김지은 (한국외국어대학교 영어학과) ;
  • 이공주 (충남대학교 전기정보통신공학부)
  • Published : 2009.04.30

Abstract

The purpose of developing an automated scoring system for English composition is to score English writing tests and to give diagnostic feedback to the test-takers without human's efforts. The system developed through our research detects grammatical errors of a single sentence on morphological, syntactic and semantic stages, respectively, and those errors are calculated into the final score. The error detecting stages are independent from one another, which causes duplicating the identical errors with different labels at different stages. These duplicated errors become a hindering factor to calculating an accurate score. This paper presents a solution to detecting the duplicated errors and improving an accuracy in calculating the final score by eliminating one of the errors.

영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 논문에서 개발한 영작문 자동 채점 시스템은 단어 단계, 구문 단계, 의미 단계의 세 단계 처리 과정을 통해서 오류를 탐지하고 탐지된 오류 개수를 기반으로 채점 점수를 결정한다. 이와 같이 독립적인 세 단계의 처리 과정에서 오류를 탐지하므로 동일한 오류 현상에 대해 서로 다른 단계에서 서로 다른 이름으로 오류를 탐지하는 경우가 발생할 수 있다. 이는 결과적으로 전체 시스템의 채점 점수의 정확도를 저하시키는 원인이 된다. 본 논문에서는 동일한 오류 현상에 대해 서로 다른 단계에서 탐지된 오류 쌍을 '중복 보고 오류'라고 정의한다. 본 논문에서는 중복 보고 오류를 찾는 방법을 제안하고 중복 보고 오류 제거를 통해 영작문 자동 채점 시스템의 채점 점수를 향상시킬 수 있음을 보인다.

Keywords

References

  1. 김지은, 이공주, 진경애, 단문형의 영작문 자동 채점 시스템 구축, 정보처리학회논문지B 제14-B권 제3호, pp.223-230, 2007 https://doi.org/10.3745/KIPSTB.2007.14-B.3.223
  2. Attali, Yigal, Burstein, J. Automated Essay Scoring With e-rater${(R)}$ V.2. The Journal of Technology, Learning, and Assessment, Vol4, No.3, Feb., 2006
  3. Breiman, L., Friedman, J., and Stone, Charles J. Classification and Regression Trees Belmont, Calif.: Wadsworth, 1984
  4. Burstein, J., Daniel Marcu and Kevin Knight, Finding the WRITE Stuff: Automatic Identification of Discourse Structure in Student Essays, IEEE Intelligent Systems, Vol.18, Issue1, pp.32-39, 2003 https://doi.org/10.1109/MIS.2003.1179191
  5. Burstein, J., Martin Chodorow and Claudia Leacock. Criterion Online Essay Evaluation: An Application for Automated Evaluation of Student Essays. In Proceedings of the Fifteenth Annual Conference on Innovative Applications of Artificial Intelligence, 2003
  6. Burstein, Jill and Derrick Higgins, Advanced Capabilities for Evaluation Student Writing: Detecting Off-Topic Essays Without Topic-Specific Training, In Proceedings of the International Conference on Artificial Intelligence in Education, pp.112-119, July, 2005
  7. Higgins, D., Burstein, J., Marcu, D., & Gentile, C. Evaluating multiple aspects of coherence in student essays (PDF). In Proceedings of the Annual Meeting of HLT/NAACL, 2004
  8. Su, Keh-Yih, Ming-Wen Wu and Jing-Shin Chang. A Corpus-based Approach to Automatic Compound Extraction, In Proceedings of the ACL 94. pp.242-247, 1994