Acknowledgement
본 연구는 과학기술정보통신부 및 정보통신기술기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행되었습니다(IITP-2018-0-01405). 또한 본 연구는 과학기술정보통신부 및 정보통신기획평가원의 ICT명품인재양성 사업의 연구결과로 수행되었습니다 (IITP-2021-2020-0-01819).
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2021.10a
- /
- Pages.55-60
- /
- 2021
- /
- 2005-3053(pISSN)
KommonGen: A Dataset for Korean Generative Commonsense Reasoning Evaluation
KommonGen: 한국어 생성 모델의 상식 추론 평가 데이터셋
- Seo, Jaehyung (Korea University) ;
- Park, Chanjun (Korea University) ;
- Moon, Hyeonseok (Korea University) ;
- Eo, Sugyeong (Korea University) ;
- Kang, Myunghoon (University of Seoul) ;
- Lee, Seounghoon (Human-inspired AI Research) ;
- Lim, Heuiseok (Korea University)
- 서재형 (고려대학교 컴퓨터학과) ;
- 박찬준 (고려대학교 컴퓨터학과) ;
- 문현석 (고려대학교 컴퓨터학과) ;
- 어수경 (고려대학교 컴퓨터학과) ;
- 강명훈 (서울시립대학교 도시사회학과) ;
- 이승훈 (Human-inspired AI 연구소) ;
- 임희석 (고려대학교 컴퓨터학과)
- Published : 2021.10.14
Abstract
최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.