정보처리학회논문지:소프트웨어 및 데이터공학 (KIPS Transactions on Software and Data Engineering)

  • 제8권6호
  • /
  • Pages.257-264
  • /
  • 2019
  • /
  • 2287-5905(pISSN)
  • /
  • 2734-0503(eISSN)
한국정보처리학회 (Korea Information Processing Society)
권호 표지
DOI QR코드

DOI QR Code

생성적 적대 네트워크로 자동 생성한 감성 텍스트의 성능 평가

Evaluation of Sentimental Texts Automatically Generated by a Generative Adversarial Network

  • 박천용 (충남대학교 전자전파정보통신공학과) ;
  • 최용석 (충남대학교 전자전파정보통신공학과) ;
  • 이공주 (충남대학교 전파정보통신공학과)
  • 투고 : 2019.03.11
  • 심사 : 2019.04.02
  • 발행 : 2019.06.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 자연언어처리 분야에서 딥러닝 모델이 좋은 성과를 보이고 있다. 이러한 딥러닝 모델의 성능을 향상시키기 위해서는 많은 양의 데이터가 필요하다. 하지만 많은 양의 데이터를 모으기 위해서는 많은 인력과 시간이 소요되기 때문에 데이터 확장을 통해 이와 같은 문제를 해소할 수 있다. 그러나 문장 데이터의 경우 이미지 데이터에 비해 데이터 변형이 어렵기 때문에 다양한 문장을 생성할 수 있는 생성 모델을 통해 문장 데이터 자동 확장을 해보고자 한다. 본 연구에서는 최근 이미지 생성 모델에서 좋은 성능을 보이고 있는 생성적 적대 신경망 중 하나인 CS-GAN을 사용하여 학습 데이터로부터 새로운 문장들을 생성해 보고 유용성을 다양한 지표로 평가하였다. 평가 결과 CS-GAN이 기존의 언어 모델을 사용할 때보다 다양한 문장을 생성할 수 있었고 생성된 문장을 감성 분류기에 학습시켰을 때 감성 분류기의 성능이 향상됨을 보였다.

Recently, deep neural network based approaches have shown a good performance for various fields of natural language processing. A huge amount of training data is essential for building a deep neural network model. However, collecting a large size of training data is a costly and time-consuming job. A data augmentation is one of the solutions to this problem. The data augmentation of text data is more difficult than that of image data because texts consist of tokens with discrete values. Generative adversarial networks (GANs) are widely used for image generation. In this work, we generate sentimental texts by using one of the GANs, CS-GAN model that has a discriminator as well as a classifier. We evaluate the usefulness of generated sentimental texts according to various measurements. CS-GAN model not only can generate texts with more diversity but also can improve the performance of its classifier.

키워드

JBCRJM_2019_v8n6_257_f0001.png 이미지

Fig. 2. The Architecture of CS-GAN

JBCRJM_2019_v8n6_257_f0002.png 이미지

Fig. 1. The Generator of CS-GAN (wt is the Word-embedding and φ(c) is the Category Embedding.)

JBCRJM_2019_v8n6_257_f0003.png 이미지

Fig. 3. The Discriminator/Classifier of CS-GAN

JBCRJM_2019_v8n6_257_f0004.png 이미지

Fig. 4. The Training Algorithm of CS-GAN

JBCRJM_2019_v8n6_257_f0005.png 이미지

Fig. 5. The Various Models used in the Evaluation

Table 1. Information of Training Data Set

JBCRJM_2019_v8n6_257_t0001.png 이미지

Table 2. Examples of Training Data

JBCRJM_2019_v8n6_257_t0002.png 이미지

Table 3. Examples of the Sentences Generated by LSTM and CS-GAN Models

JBCRJM_2019_v8n6_257_t0003.png 이미지

Table 4. Accuracy of the Classifier Models

JBCRJM_2019_v8n6_257_t0004.png 이미지

Table 5. The Ratio of Unique Sentences Generated by the Models

JBCRJM_2019_v8n6_257_t0005.png 이미지

Table 6. The Number of Unique n-grams in Sentences Generated by the Models

JBCRJM_2019_v8n6_257_t0006.png 이미지

Table 7. The Evaluation Results of Sentences Generated by the Models

JBCRJM_2019_v8n6_257_t0007.png 이미지

Table 8. Performance of Model G+D+C+RL(CS-GAN)

JBCRJM_2019_v8n6_257_t0008.png 이미지

Table 9. Qualitative Evaluation Results of CS-GAN and LSTM Models

JBCRJM_2019_v8n6_257_t0009.png 이미지

참고문헌

  1. GOMEZ-RIOS, Anabel, "Towards Highly Accurate Coral Texture Images Classification using Deep Convolutional Neural Networks and Data Augmentatio," Expert Systems with Applications, Vol.118, pp.315-328, 2019. https://doi.org/10.1016/j.eswa.2018.10.010
  2. Zhang, Xiang, Zhao, Junbo, and Lecun, Yann, "Character-Level Convolutional Networks for Text Classification," Advances in Neural Information Processing Systems, pp.649-65, 2015.
  3. KOBAYASHI, Sosuke, "Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations," arXiv Preprint arXiv:1805.06201, 2018.
  4. Deschacht, Koen and Marie-Francine Moens, "Semi-Supervised Semantic Role Labeling using the Latent Words Language Model," Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 1-Volume 1, 2009.
  5. Goodfellow, Ian, et al., "Generative Adversarial Nets", Advances in Neural Information Processing Systems, pp.2672-2680, 2014.
  6. Goodfellow, Ian, "Generative Adversarial Networks for Text," http://goo.gl/Wg9DR7, 2016.
  7. YU, Lantao, et al., "Seqgan: Sequence Generative Adversarial Nets with Policy Gradient," Thirty-First AAAI Conference on Artificial Intelligence, 2017.
  8. C. Y. Park and K. J. Lee, "Automatic Generation of Training Corpus for a Sentiment Analysis Using a Generative Adversarial Network," Proceedings of the 30th Annual Conference on Human and Cognitive Language Technology, pp.389-393, 2018.
  9. L. I. Yang, et al., "A Generative Model for Category Text Generation," Information Sciences, Vol.450, pp.301-315. 2018. https://doi.org/10.1016/j.ins.2018.03.050
  10. Wang, Ke and Wan, Xiaojun. "SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks," IJCAI, pp. 4446-4452, 2018.
  11. SRIVASTAVA, Rupesh Kumar, GREFF, Klaus, SCHMIDHUBER, Jurgen, "Highway Networks," arXiv Preprint arXiv:1505.00387, 2015.
  12. MIKOLOV, Tomas, et al., "Recurrent Neural Network Based Language Model," Eleventh Annual Conference of the International Speech Communication Association. 2010.