Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.443-447
- /
- 2023
- /
- 2005-3053(pISSN)
In-Context Retrieval-Augmented Korean Language Model
In-Context 검색 증강형 한국어 언어 모델
- Sung-Min Lee (Jeonbuk National University) ;
- Joung Lee (Jeonbuk National University) ;
- Daeryong Seo (NAVER Corporation) ;
- Donghyeon Jeon (NAVER Corporation) ;
- Inho Kang (NAVER Corporation) ;
- Seung-Hoon Na (Jeonbuk National University)
- Published : 2023.10.12
Abstract
검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.