Acknowledgement
이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No.2022-0-00956, 소셜네트워크에서의 온라인그루밍 위험성 자가탐지 기술 개발)
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2023.10a
- /
- Pages.463-467
- /
- 2023
- /
- 2005-3053(pISSN)
Methodology for Overcoming the Problem of Position Embedding Length Limitation in Pre-training Models
사전 학습 모델의 위치 임베딩 길이 제한 문제를 극복하기 위한 방법론
- Minsu Jeong (NHN Diquest) ;
- Tak-Sung Heo (NHN Diquest) ;
- Juhwan Lee (NHN Diquest) ;
- Jisu Kim (NHN Diquest) ;
- Kyounguk Lee (NHN Diquest) ;
- Kyungsun Kim (NHN Diquest)
- 정민수 (엔에이치엔다이퀘스트) ;
- 허탁성 (엔에이치엔다이퀘스트) ;
- 이주환 (엔에이치엔다이퀘스트) ;
- 김지수 (엔에이치엔다이퀘스트) ;
- 이경욱 (엔에이치엔다이퀘스트) ;
- 김경선 (엔에이치엔다이퀘스트)
- Published : 2023.10.12
Abstract
사전 학습 모델을 특정 데이터에 미세 조정할 때, 최대 길이는 사전 학습에 사용한 최대 길이 파라미터를 그대로 사용해야 한다. 이는 상대적으로 긴 시퀀스의 처리를 요구하는 일부 작업에서 단점으로 작용한다. 본 연구는 상대적으로 긴 시퀀스의 처리를 요구하는 질의 응답(Question Answering, QA) 작업에서 사전 학습 모델을 활용할 때 발생하는 시퀀스 길이 제한에 따른 성능 저하 문제를 극복하는 방법론을 제시한다. KorQuAD v1.0과 AIHub에서 확보한 데이터셋 4종에 대하여 BERT와 RoBERTa를 이용해 성능을 검증하였으며, 실험 결과, 평균적으로 길이가 긴 문서를 보유한 데이터에 대해 성능이 향상됨을 확인할 수 있었다.