영어 작문 자동채점에서 ConceptNet과 작문 프롬프트를 이용한 주제-이탈 문서의 자동 검출

DOI QR코드

DOI QR Code

이공주;이경호
Lee, Kong Joo;Lee, Gyoung Ho

  • 투고 : 2015.06.15
  • 심사 : 2015.10.02
  • 발행 : 2015.12.15

초록

본 연구에서는 미리 구축해 놓은 학습데이터 없이도 입력된 작문이 주어진 작문 주제에 적합한 내용인지 아닌지를 자동으로 판단할 수 있는 방법을 제안한다. ConceptNet은 다양한 종류의 문서에서 추출한 자연언어 문장들로부터 구축된 그래프 형태의 지식베이스이다. 본 연구에서는 작문 주제에 해당하는 작문 프롬프트(essay prompt)와 ConceptNet만을 이용하여 문서의 주제-이탈 여부를 판별하는 방법을 제안한다. ConceptNet에서 두 개념간의 최단 경로를 찾고 이에 대한 의미 유사도를 계산하는 방법을 제안한다. 이를 이용하여 작문 프롬프트와 수험생 작문 내용을 ConceptNet의 개념들로 매핑하고 이 개념들 사이의 의미 유사도를 계산하여 작문 프롬프트와 수험생 작문 사이의 주제 부합 여부를 판단한다. 8개의 작문 시험을 수행하여 얻은 수험생 작문 데이터에 대하여 평가를 수행한 결과 기존의 연구에 비해 좋은 성능을 얻을 수 있었다. ConceptNet을 활용하면 유의미한 단순 추론이 가능하기 때문에 본 연구에서 제안한 방법은 추론을 요하는 작문 문제에도 적용 가능함을 보였다.

키워드

주제-이탈 문서;영어 작문 자동 채점;문서 추론

참고문헌

  1. Jill Burstein and Derrick Higgins, "Advanced Capabilities for Evaluating Student Writing: Detecting Off-Topic Essays Without Topic-Specific Training," Proc. of the International Conference on Artificial Intelligence in Education, Jul. 2005.
  2. Robert Speer and Catherine Havasi, "Representing General Relational Knowledge in ConceptNet 5," LREC, pp. 3679-3686, 2012.
  3. Higgins, D., Burstein, J., Attali, Y., "Identifying offtopic student essays without topic-specific training data," Natural Language Engineering, Vol. 12, No. 2, pp. 145-159, 2006. https://doi.org/10.1017/S1351324906004189
  4. Annie Louis and Derrick Higgins, "Off-topic essay detection using short prompt texts," Proc. of the NAACL HLT 2010 Fifth Workshop on Innovative Use of NLP for Building Educational Applications, pp. 92-95, 2010.
  5. Spagnola, S., and Lagoze, C., "Edge dependent pathway scoring for calculating semantic similarity in ConceptNet," Proc. of the Ninth International Conference on Computational Semantics, pp. 385-389, 2011.
  6. Peter Norvig, "Inference In Text Understanding," AAAI-87 Proceedings, 1987.
  7. Sanda M. Harabagiu and Dan I. Moldovan, "A Parallel System for Text Inference Using Marker Propagations," IEEE Transactions on Parallel and Distributed Systems, Vol. 9, No. 8, Aug. 1998.
  8. Gyoung Ho Lee, Kong Joo Lee, "Developing an Automated English Sentence Scoring System for Middle-school Level Writing Test by Using Machine Learning Techniques," Journal of KIISE, Vol. 41, No. 11, pp. 911-920, 2014. https://doi.org/10.5626/JOK.2014.41.11.911

과제정보

연구 과제 주관 기관 : 충남대학교