Acknowledgement
이 논문은 2023년도 정부(경찰청)의 재원으로 지원받아 수행된 연구결과임 [내역사업명: 확장현실(XR) 기반 복합테러 대응 교육·훈련 테스트 베드 구축 / 연구개발과제번호: PR08-04-000-21]
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.312-318
- /
- 2023
- /
- 2005-3053(pISSN)
Language Model Evaluation Based on Korean-English Empathetic Dialogue Datasets and Personality
한국어-영어 공감대화 데이터셋과 성격을 기반으로 한 언어모델 평가
- Young-Jun Lee (School of Computing, KAIST) ;
- JongHwan Hyeon (School of Computing, KAIST) ;
- DoKyong Lee (KT Corporation) ;
- Joo-Won Sung (KT Corporation) ;
- Ho-Jin Choi (School of Computing, KAIST)
- Published : 2023.10.12
Abstract
본 연구는 다양한 대규모 언어 모델들의 한국어/영어 공감 대화 생성에서 성능을 실험적으로 비교 분석하는 것과 개인의 성향과 공감 사이에서의 상관 관계를 실험적으로 분석하는 것을 목표로 한다. 이를 위해, 한국어 공감 대화 데이터셋인 KorEmpatheticDialogues 를 구축하였고, personality-aware prompting 방법을 제안한다. 실험을 통해, 총 18개의 언어 모델들 간의 공감 대화 생성 성능을 비교 분석하였고, 개인의 성향에 맞춤형 제공하는 공감이 더 상호작용을 이끌어낼 수 있다는 점을 보여준다. 코드와 데이터셋은 게재가 허용되면 공개할 예정이다.