Acknowledgement
본 논문은 과학기술정보통신부 정보통신창의인재양성사업의 지원을 통해 수행한 ICT 멘토링 프로젝트 결과물입니다.
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2021.11a
- /
- Pages.1116-1119
- /
- 2021
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
SG-MLP: Switch Gated Multi-Layer Perceptron Model for Natural Language Understanding
자연어 처리를 위한 조건부 게이트 다층 퍼셉트론 모델 개발 및 구현
- Son, Guijin (Dept. of Economics, Underwood International College, Yonsei University) ;
- Kim, Seungone (Dept. of Computer Science, Yonsei University) ;
- Joo, Se June (Dept. of Mathematics, Yonsei University) ;
- Cho, Woojin (Dept. of Atmospheric Sciences, Yonsei University) ;
- Nah, JeongEun (University College, Yonsei University)
- 손규진 (연세대학교 언더우드 국제대학 경제학과) ;
- 김승원 (연세대학교 공과대학 컴퓨터과학과) ;
- 주세준 (연세대학교 이과대학 수학과) ;
- 조우진 (연세대학교 이과대학 대기과학과) ;
- 나정은 (연세대학교 학부대학)
- Published : 2021.11.04
Abstract
2018 년 Google 사의 사전 학습된 언어 인공지능 BERT 를 기점으로, 자연어 처리 학계는 주요 구조를 유지한 채 경쟁적으로 모델을 대형화하는 방향으로 발전했다. 그 결과, 오늘날 자연어 인공지능은 거대 사기업과 그에 준하는 컴퓨팅 자원을 소유한 연구 단체만의 전유물이 되었다. 본 논문에서는 다층 퍼셉트론을 병렬적으로 배열해 자연어 인공지능을 제작하는 기법의 모델을 제안하고, 이를 적용한'조건부 게이트 다층 퍼셉트론 모델(SG-MLP)'을 구현하고 그 결과를 비교 관찰하였다. SG-MLP 는 BERT 의 20%에 해당하는 사전 학습량만으로 다수의 지표에서 그것과 준하는 성능을 보였고, 동일한 과제에 대해 더 적은 연산 비용을 소요한다.
Keywords