Acknowledgement
이 논문은 2019년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이자 (2019-0-00004, 준지도학습형 언어지능 원천기술 및 이에 기반한 외국인 지원용 한국어 튜터링 서비스 개발), 2022년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(2022R1F1A1071047)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.155-161
- /
- 2023
- /
- 2005-3053(pISSN)
Structuring Input and Output Control of Multiple Large Language Models for Fact-Checking
사실관계 확인을 위한 다중 대규모 언어모델의 입출력 제어 구조화 방법
- Jeesu Jung (Chungnam National University, Department of Computer Science Engineering) ;
- Chihyeon Lee (Chungnam National University, Department of Computer Science Engineering) ;
- Hyeonseok Kang (Chungnam National University, Department of Computer Science Engineering) ;
- Sangkeun Jung (Chungnam National University, Department of Computer Science Engineering) ;
- Yoonhyung Roh (Electronics and Telecommunications Research Institute)
- 정지수 (충남대학교 컴퓨터융합학부) ;
- 이치현 (충남대학교 컴퓨터융합학부) ;
- 강현석 (충남대학교 컴퓨터융합학부) ;
- 정상근 (충남대학교 컴퓨터융합학부) ;
- 노윤형 (한국전자통신연구원)
- Published : 2023.10.12
Abstract
최근 대규모 언어 모델의 활용 방법에 대한 많은 관심이 지속되고 있다. LLM이 생성한 정보의 가장 중요한 도전 과제는 출력 문장이 사실인지 판단하기 어렵다는 점이다. 본 논문은 하나 또는 복수의 LLM를 구조화하여, 생산되는 다양한 결과를 활용하는 방안을 탐구한다. LLM이 생성한 출력 정보를 고려하여 사실 관계 확인 과제를 수행함에 있어서, 성능 향상 가능성을 평가하기 위한 실험을 진행했다. 대규모 언어모델의 구조화를 통해 입력 정보의 제어를 할 경우, 기존 최고 성능보다 4.75의 정확도 향상을 관찰할 수 있었다.