워드 임베딩과 품사 태깅을 이용한 클래스 언어모델 연구

DOI QR코드

DOI QR Code

정의석;박전규
Chung, Euisok;Park, Jeon-Gue

  • 투고 : 2016.03.18
  • 심사 : 2016.05.12
  • 발행 : 2016.07.15

초록

음성인식 성능 개선을 위한 언어모델의 기술적 진보는 최근 심층 신경망을 기반으로 한 접근방법으로 한 단계 더 진보한 모양새다. 그러나 연구되고 있는 심층 신경망 기반 언어모델은 대부분 음성인식 이후 리스코링 단계에서 적용할 수 있는 한계를 지닌다. 또한 대규모 어휘에 대한 심층 신경망 접근방법은 아직 시간이 필요하다고 본다. 따라서 본 논문은 심층 신경망 언어 모델의 단순화된 형태인 워드 임베딩 기술을 음성인식 후처리가 아닌 기반 N-gram모델에 바로 적용할 수 있는 접근 방법을 찾는다. 클래스 언어모델이 한 접근 방법이 될 수 있는데, 본 연구에서는 워드 임베딩을 우선 구축하고, 해당 어휘별 벡터 정보를 클러스터링하여 클래스 언어모델을 구축 방법을 제시한다. 이를 기존 어휘기반 N-gram 모델에 통합한 후, 언어모델의 성능 개선 여부를 확인한다. 클래스 언어모델의 타당성 검증을 위해 다양한 클래스 개수의 언어모델 실험과 RNN LM과의 비교 결과를 검토한 후, 모든 언어모델의 성능 개선을 보장하는 품사 부착 언어모델 생성 방법을 제안한다.

키워드

워드 임베딩;클래스 언어모델;품사부착 기반 언어모델

참고문헌

  1. Y. Bengio, R. Ducharme, P. Vincent, A neural probabilistic language model, Journal of Machine Learning Research, 3:1137-1155, 2003.
  2. T. Mikolov, A. Deoras, D. Povey, L. Burget and J. Cernocky, "Strategies for training large scale neural network language models," Automatic Speech Recognition and Understanding (ASRU), 2011.
  3. T. Mikolov, K. Chen, G. Corrado and J. Dean, "Efficient Estimation of Word Representations in Vector Space," International Conference of Learning Representations (ICLR), 2013.
  4. A. Neelakantan, J. Shankar, A. Passos and A. McCallum, "Efficient non-parametric estimation of multiple embeddings per word in vector space," Empirical Methods on Natural Language Processing (EMNLP), 2014.
  5. E. Chung and J. Park, "Word Embedding based Class Language Model," Human & Cognitive Language Technology (HCLT), 2015.
  6. S. F. Chen and J. Goodman, "An empirical study of smoothing techniques for language modeling," Technical Report TR-10-98, Computer Science Group, Harvard University, 1998.
  7. X. Rong, "word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method," arXiv:1402.3722 [cs.CL], 2014.
  8. X. Rong, "word2vec Parameter Learning Explained," arXiv:1411.2738 [cs.CL], 2016.
  9. C. Lee, J. Kim and J. Kim, "Korean Dependency Parsing using Deep Learning," Human & Cognitive Language Technology (HCLT), 2014.
  10. D. Q. Nguyen, D. D. Pham and S. B. Pham, "RDRPOSTagger: A Ripple Down Rules-based Part-Of-Speech Tagger," European Chapter of the Association for Computational Linguistics (EACL), pp. 17-20, 2014.

과제정보

연구 과제번호 : 언어학습을 위한 자유발화형 음성대화처리 원천기술 개발

연구 과제 주관 기관 : 정보통신기술진흥센터