DOI QR코드

DOI QR Code

Automatic Grading System for Subjective Questions Through Analyzing Question Type

질의문 유형 분석을 통한 서답형 자동 채점 시스템

  • 강원석 (안동대학교 정보과학교육과)
  • Received : 2011.01.14
  • Accepted : 2011.02.17
  • Published : 2011.02.28

Abstract

It is not easy to develop the system as the subjective-type evaluation has the difficulty in natural language processing. This thesis designs and implements the automatic evaluation system with natural language processing technique. To solve the degradation of general evaluation system, we define the question type and improve the performance of evaluation through the adaptive process for each question type. To evaluate the system, we analyze the correlation between human evaluation and term-based evaluation, and between human evaluation and this system evaluation. We got the better result than term-based evaluation. It needs to expand the question type and improve the adaptive processing technique for each type.

Keywords

Subjective-type Evaluation;Natural Language Processing

References

  1. 진경애, 이병천, 신동광, 박태준, 주헌우, 서답형 문장 자동채점 프로그램 도입방안 연구(III), 한국교육과정평가원 연구보고서, 2008.
  2. 성태제, 양길석, 강태훈, 정은영, 학업성취도 평가서답형 문항 컴퓨터채점화 방안 탐색, 한국교육과정평가원 연구보고서, 2010.
  3. 박정, “서답형 평가 문항 자동채점프로그램 활용가능성 탐색,” 교육평가연구, 제22권, 제3호, pp.615-631, 2009.
  4. Donald E. Powers, Jill C. Burstein, Martin Chodorow, Mary E. Fowles, and Karen Kukich, "Stumping e-rater:challenging the validity of automated essay scoring," Computers in Human Behavior, Vol.18, pp.103-134, 2002. https://doi.org/10.1016/S0747-5632(01)00052-8
  5. Salvatore Valenti, Francesca Neri, and Alessandro Cucchiarelli, "An Overview of Current Research on Automated Essay Grading," J. of Information Technology Education, Vol.2, pp.319-330, 2003.
  6. Rehab M. Duwairi, "A framework for the computerized assessment of university student essays," Computers in Human Behavior, Vol.22, pp.381-388, 2006. https://doi.org/10.1016/j.chb.2004.09.006
  7. 배화식, 정순호, “자연어처리과정을 이용한 웹기반 한문 주관식 채점 시스템,” 2005년 한국정보처리학회 학술대회논문집, 제12권, 제2호, pp.813-816, 2005.
  8. 조우진, 오정석, 이재영, 김유섭, “의미커널과 한글 워드넷에 기반한 지능형 채점 시스템,” 정보처리학회논문지 A, 제12-A권, 제6호, pp.539-546, 2005. https://doi.org/10.3745/KIPSTA.2005.12A.6.539
  9. 김용범, 김유섭, “한국어 워드넷에서의 개념유사도를 활용한 선택형 문항 생성시스템,” 정보처리학회논문지 A : 제15-A권, 제2호, pp.125-134, 2008. https://doi.org/10.3745/KIPSTA.2008.15-A.2.125
  10. 조지민, 김경훈, “서답형 문항의 인터넷 기반 채점 시스템 설계 연구,” 한국컴퓨터교육학회논문지, 제10권, 제2호, pp.89-100, 2007.
  11. 황도삼, 최기선, 김태석 공역, 자연언어처리, 홍릉과학출판사, 2007.
  12. 김명철, 김덕봉, 이하규, 김유성, 김재훈, 박혁로 공역, 최신정보검색론, 홍릉과학출판사, 2001.
  13. 방훈, 강태호, 김원진, 원대희, 이재영, “웹기반 주관식 답분류 채점 시스템,” 2001년 한국정보과학회 학술대회논문집, 제28권, 제2호, pp.589-591, 2001.
  14. 송미영, 김수진, 김희경, 남명호, “온라인시스템을 활용한 대규모서답형 평가의 채점 일관성,” 교육평가연구, 제22권, 제3호, pp.827-846, 2009.
  15. 정은미, 프로그래밍언어에 대한 주관식 자동채점 시스템의 설계 및 구현, 안동대학교 대학원 석사논문, 2008.
  16. 김홍기, 홍동권, “주관식 평가를 위한 웹기반 온라인 평가시스템의 구현 및 적용,” 한국정보교육학회 논문지, 제8권, 제2호, pp.251-260, 2004.
  17. 박희정, 강원석, “유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현”, 한국컴퓨터교육학회 논문지, 제6권, 제3호, pp.207-216, 2003.
  18. 강원석, “구문-격의미 정보를 이용한 주관식 문제채점 시스템 설계 및 구현”, 한국컴퓨터교육학회 논문지, 제10권, 제5호, pp.61-69, 2007.
  19. 김재훈 외 5인, “새 환경에 적용가능한 한국어 품사 태킹 시스템 KTAG99," 11회 한글 및 한국어정보처리 학술대회논문집, 1999.