Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.75-79
- /
- 2023
- /
- 2005-3053(pISSN)
Evaluating Table QA with Generative Language Models
생성형 언어모델을 이용한 테이블 질의응답 평가
- Kyungkoo Min (LG AI Research) ;
- Jooyoung Choi (LG AI Research) ;
- Myoseop Sim (LG AI Research) ;
- Haemin Jung (LG AI Research) ;
- Minjun Park (LG AI Research) ;
- Jungkyu Choi (LG AI Research)
- Published : 2023.10.12
Abstract
문서에서 테이블은 중요한 정보들을 축약하여 모아 놓은 정보 집합체라고 할 수 있다. 이러한 테이블을 대상으로 질의응답하는 테이블 질의응답 기술이 연구되고 있으며, 이 중 언어모델을 이용한 연구가 좋은 결과를 보이고 있다. 본 연구에서는 최근 주목받고 있는 생성형 언어모델 기술을 테이블 질의응답에 적용하여 언어모델과 프롬프트의 변경에 따른 결과를 살펴보고, 단답형 정답과 생성형 결과의 특성에 적합한 평가방법으로 측정해 보았다. 자체 개발한 EXAONE 1.7B 모델의 경우 KorWiki 데이터셋에 대해 적용하여 EM 92.49, F1 94.81의 결과를 얻었으며, 이를 통해 작은 크기의 모델을 파인튜닝하여 GPT-4와 같은 초거대 모델보다 좋은 성능을 보일 수 있음을 확인하였다.