DOI QR코드

DOI QR Code

Research on Subjective-type Grading System Using Syntactic-Semantic Tree Comparator

구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구

  • Received : 2018.07.31
  • Accepted : 2018.10.16
  • Published : 2018.11.30

Abstract

The subjective question is appropriate for evaluation of deep thinking, but it is not easy to score. Since, regardless of same scoring criterion, the graders are able to produce different scores, we need the objective automatic evaluation system. However, the system has the problem of Korean analysis and comparison. This paper suggests the Korean syntactic analysis and subjective grading system using the syntactic-semantic tree comparator. This system is the hybrid grading system of word based and syntactic-semantic tree based grading. This system grades the answers on the subjective question using the syntactic-semantic comparator. This proposed system has the good result. This system will be utilized in Korean syntactic-semantic analysis, subjective question grading, and document classification.

주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다. 그렇지만 채점 시스템은 표현 언어인 한국어 분석과 비교의 문제가 걸려있다. 본 연구는 한국어의 구문 분석을 구현하고 결과인 구문분석 트리를 비교하는 비교기를 이용하여 주관식 문항을 채점하는 채점 시스템을 설계, 개발하였다. 이 시스템은 단어 중심의 채점 시스템과 구문의미트리 중심의 채점 시스템을 복합한 시스템으로 구문의미트리 비교기를 활용하였다. 본 시스템의 실험 결과 제안한 구문의미트리 중심의 채점 시스템과 복합 채점 시스템이 더 나은 결과를 가져옴을 알 수 있었다. 본 연구는 한국어 구문의미분석과 주관식 채점 영역에 활용할 수 있고 또한 문서 분류에도 활용할 수 있을 것이다.

Keywords

References

  1. 정상목.한병래.송기상(2005). LSA를 이용한 서술형 주관식 평가 시스템의 설계 및 구현. 한국정보교육학회, 9(2), 288-298.
  2. 조정현.정현기.박찬영.김유섭(2009). BLEU를 활용한 단기 서술형 답안의 자동채점. 한국HCI학회 학술대회, 606-610.
  3. 조우진.오정석.이재영.김유섭(2005). 의미 커널과 한글 워드넷에 기반한 지능형 채점 시스템. 정보처리학회논문지A, 12-A(6), 539-546.
  4. 강원석(2007). 구문-격의미 정보를 이용한 주관식 문제 채점 시스템 설계 및 구현. 한국 컴퓨터교육학회 논문지, 10(5), 61-69.
  5. 강원석(2017). 주관식 문제 채점에서의 구문 의미트리 비교 시스템에 대한 연구. 한국컴퓨터교육학회 논문지, 20(6), 79-88.
  6. 김동기.홍동권(2004). 주관식 평가를 위한 웹기반 온라인 평가 시스템의 구현 및 적용. 정보교육학회논문지, 8(2), 1-9.
  7. 이재영(2011). 대규모 주관식 문제에서 유사한 답 채점 정보관리 시스템. 한국정보기술 학회논문지, 9(2), 187-196.
  8. 조지민.김경훈(2014). 서답형 문항 온라인 채점 시스템의 개발과 적용. 한국컴퓨터교육학회 논문지, 17(2), 39-51.
  9. 천민아.서형원.김재훈.노은희.성경희. 임은영(2015). 준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점. 인지과학, 26(2), 147-165.
  10. Claudia Leacock & Martin Chodorow(2003). C-rater: Automated Scoring of Short-Answer Questions. Computers and the Humanities, 37, 389-405. https://doi.org/10.1023/A:1025779619903
  11. Attali, Y. & Burstein, J.(2006). Automated Essay Scoring With e-rater$^{(R)}$ V.2. Journal of Technology, Learning, and Assessment, 4(3).
  12. 최윤정.성태제(2006). 영어 논술 채점 컴퓨터 프로그램의 비교.분석. 교육평가연구, 19(1), 145-160.
  13. 박희정.강원석(2003). 유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현. 한국컴퓨터교육학회 논문지, 6(3), 207-216.
  14. 강원석(2011). 질의문 유형 분석을 통한 서답형 자동 채점 시스템. 한국콘텐츠학회논문지, 11(2), 13-21. https://doi.org/10.5392/JKCA.2011.11.2.013
  15. 박일남.강승식.노은희.김명화.성태제 (2013). 정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템. 정보과학회논문지 : 컴퓨팅의 실제 및 레터, 19(12), 630-636.
  16. 강승식.장은서(2016). 학생 답안 분석과 정답 템플릿 생성에 의한 한국어 서답형 문항의 자동채점 시스템. 정보과학회 컴퓨팅의 실제 논문지, 22(5), 218-224. https://doi.org/10.5626/KTCP.2016.22.5.218
  17. 허정만.박소영(2013). 투표 기반 서술형 주관식 답안 자동 채점 모델의 설계 및 구현. 한국컴퓨터정보학회논문지 , 18(8), 17-25. https://doi.org/10.9708/jksci.2013.18.8.017
  18. 천민아.김창현.김재훈.노은희.성경희.송미영(2016). 기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템. 정보처리학회논문지/소프트웨어데이터공학, 5(11), 527-534. https://doi.org/10.3745/KTSDE.2016.5.11.527
  19. 김재훈.선충녕.홍상욱.이성욱.서정연. 조정미(1999). KTAG99: 새로운 환경에 쉽게 적응하는 한국어 품사 태킹 시스템. 제11회 한글 및 한국어정보처리 학술대회논문집, 99-105.
  20. 강원석.노주환.제환주.조흠.황세연.정부천(2007). 검색엔진을 한 키워드 관련어 추출기의 설계 및 구현. 한국컴퓨터교육학회 2007년도 동계 학술대회 논문집, 241-246.
  21. 강원석(2015). 구문의미트리 비교기를 이용한 유사문서 판별기. 한국콘텐츠학회논문지, 15(10), 636-646. https://doi.org/10.5392/JKCA.2015.15.10.636

Cited by

  1. 구문의미 분석을 활용한 복합 문단구분 시스템에 대한 연구 vol.24, pp.1, 2021, https://doi.org/10.9717/kmms.2020.24.1.106