Jam-packing Korean sentence classification method robust for spacing errors

띄어쓰기 오류에 강건한 문장 압축 기반 한국어 문장 분류

  • Published : 2018.10.12

Abstract

한국어 문장 분류는 주어진 문장의 내용에 따라 사전에 정의된 유한한 범주로 할당하는 과업이다. 그런데 분류 대상 문장이 띄어쓰기 오류를 포함하고 있을 경우 이는 분류 모델의 성능을 악화시킬 수 있다. 이에 한국어 텍스트 혹은 음성 발화 기반의 문장을 대상으로 분류 작업을 수행할 경우 띄어쓰기 오류로 인해 발생할 수 있는 분류 모델의 성능 저하 문제를 해결해 보고자 문장 압축 기반 학습 방식을 사용하였다. 학습된 모델의 성능을 한국어 영화 리뷰 데이터셋을 대상으로 실험한 결과 본 논문이 제안하는 문장 압축 기반 학습 방식이 baseline 모델에 비해 띄어쓰기 오류에 강건한 분류 성능을 보이는 것을 확인하였다.