Performance analysis of Various Embedding Models Based on Hyper Parameters

다양한 임베딩 모델들의 하이퍼 파라미터 변화에 따른 성능 분석

  • 이상아 (가천대학교 소프트웨어학과) ;
  • 박재성 (가천대학교 소프트웨어학과) ;
  • 강상우 (가천대학교 소프트웨어학과) ;
  • 이정엄 (현대자동차 로보틱스팀) ;
  • 김선아 (현대자동차 로보틱스팀)
  • Published : 2018.10.12

Abstract

본 논문은 다양한 워드 임베딩 모델(word embedding model)들과 하이퍼 파라미터(hyper parameter)들을 조합하였을 때 특정 영역에 어떠한 성능을 보여주는지에 대한 연구이다. 3 가지의 워드 임베딩 모델인 Word2Vec, FastText, Glove의 차원(dimension)과 윈도우 사이즈(window size), 최소 횟수(min count)를 각기 달리하여 총 36개의 임베딩 벡터(embedding vector)를 만들었다. 각 임베딩 벡터를 Fast and Accurate Dependency Parser 모델에 적용하여 각 모들의 성능을 측정하였다. 모든 모델에서 차원이 높을수록 성능이 개선되었으며, FastText가 대부분의 경우에서 높은 성능을 내는 것을 알 수 있었다.

Acknowledgement

Supported by : 한국연구재단, 정보통신기술진흥센터