Journal of the Korean Institute of Intelligent Systems (한국지능시스템학회논문지)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지
DOI QR코드

DOI QR Code

Implementation of Intelligent Virtual Character Based on Reinforcement Learning and Emotion Model

강화학습과 감정모델 기반의 지능적인 가상 캐릭터의 구현

  • 우종하 (LG전자 MC사업본부 단말연구소) ;
  • 박정은 (서강대학교 컴퓨터학과) ;
  • 오경환 (서강대학교 컴퓨터학과)
  • Published : 2006.06.01
Download PDF
⟨ Previous Next ⟩

Abstract

Learning and emotions are very important parts to implement intelligent robots. In this paper, we implement intelligent virtual character based on reinforcement learning which interacts with user and have internal emotion model. Virtual character acts autonomously in 3D virtual environment by internal state. And user can learn virtual character specific behaviors by repeated directions. Mouse gesture is used to perceive such directions based on artificial neural network. Emotion-Mood-Personality model is proposed to express emotions. And we examine the change of emotion and learning behaviors when virtual character interact with user.

학습과 감정은 지능형 시스템을 구현하는데 있어 가장 중요한 요소이다. 본 논문에서는 강화학습을 이용하여 사용자와 상호작용을 하면서 학습을 수행하고 내부적인 감정모델을 가지고 있는 지능적인 가상 캐릭터를 구현하였다. 가상 캐릭터는 여러 가지 사물들로 이루어진 3D의 가상 환경 내에서 내부상태에 의해 자율적으로 동작하며, 또한 사용자는 가상 캐릭터에게 반복적인 명령을 통해 원하는 행동을 학습시킬 수 있다. 이러한 명령은 인공신경망을 사용하여 마우스의 제스처를 인식하여 수행할 수 있고 감정의 표현을 위해 Emotion-Mood-Personality 모델을 새로 제안하였다. 그리고 실험을 통해 사용자와 상호작용을 통한 감정의 변화를 살펴보았고 가상 캐릭터의 훈련에 따른 학습이 올바르게 수행되는 것을 확인하였다.

Keywords

References

  1. Kenji Suzuki, 'Intelligent Agent System for Human- Robot Interaction through Artificial Emotion', IEEE International Conference. Vol 2, pp.1055-1060, 1998
  2. Damian A. Isla, 'Object Persistence for Synthetic Creatures', Proceedings of the first international joint conference on Autonomous agents and multiagent systems. Part 3, pp.1356-1368, 2002
  3. Song-Yee Yoon, 'Interactive Training for Synthetic Characters', Proceedings of American Association for Artificial Intelligence, 2000
  4. Bruce Blumberg, 'Integrated Learning for Interactive Synthetic Characters', Proceedings of the 29th annual conference on Computer graphics and interactive techniques. SIGGRAPH, 2002
  5. Mat Buckland, 'AI Techniques for Game Programming', Thomson Learning, 2002
  6. A. Ortony, G. Clore, A. Collins, 'The Cognitive Structure of Emotions', Chicago University Press, 1998
  7. Elliott C.D, 'The Affective Reasoner: A process model of emotions in a multi-agent system', Northwestern University, Evanston, IL, Ph.D Thesis, 1992
  8. M. El-Nasr, Thomas R. loerger, John Yen, 'Emotionally Expressive Agents', 1998
  9. N. Kubota, Y. Nojima, N. Baba, F. Kojima, T. Fukuda, 'Evolving Pet Robot with Emotional Model', Proceedings of the CEC, pp.1231-1237, 2000
  10. N. Kubota, F. Kojima, T. Fukuda, 'Self-Consciousness and Emotion for A Pet Robot with Structured Intelligence', IFSA World Congress and 20th NAFIPS International Conference, pp.2786-2791, 2001
  11. L. P. Kaelbling and M. L. Littman 'Reinforcement Learning: A survey', Journal of Artificial Intelligence Research 4, pp.237-285, 1996 https://doi.org/10.1613/jair.301
  12. R. S. Sutton and A. G. Barto, 'An Introduction to Reinforcement Learning: An Introduction', MIT Press, 1998
  13. D. P. Bertsekas and D. A. Tsitsiklis, 'Adaptive aggregation for infinite horizon dynamic programming', IEEE Transactions on Automatic Control. 34, pp.589-598, 1989 https://doi.org/10.1109/9.24227