구문-격의미 정보를 이용한 주관식 문제 채점 시스템 설계 및 구현

Design and Implementation of a Subjective-type Evaluation System Using Syntactic and Case-Role Information

주관식 평가는 객관식보다 높은 수준의 인지 능력을 측정할 수 있으나 채점의 객관성과 신뢰성의 문제, 그리고 한국어 처리의 어려움으로 기피하여 왔다. 본 논문은 이와 같은 문제를 해결하기 위해 한국어의 구문정보와 격의미 정보를 이용하여 주관식 문제의 답안을 채점하는 시스템을 설계, 구현하였다. 이 시스템은 채점의 시간과 노력을 덜고 채점의 객관성을 획득할 수 있다. 시스템의 실험 결과 75%에 달하는 성공률을 얻을 수 있었고 본 시스템을 이용하여 학생의 답지 가운데 정답에 해당하는 답지를 찾는 정보검색의 관점에서 시스템을 평가한 결과 단어추출방법을 이용한 시스템보다 재현율과 정확률의 개선을 얻을 수 있었다. 이 시스템은 앞으로 주관식 채점 방법의 기초가 될 것으로 기대된다.

The subjective-type evaluation can estimate the high-recognition ability, but has the problem of the objectivity and reliability of the evaluation, and the difficulty of Korean language processing. To solve the problem, this paper designs and implements a subjective-type evaluation system using syntactic and case-role information. This system can reduce the time and endeavor for evaluation and provide the objectivity of the evaluation. The system results the 75% success rate to the instructor evaluation and gets the better precision and recall than the word extraction evaluation system. We expect that this system will become a basis of the research on the subjective-type evaluation.