Journal of the Korean Society for Aeronautical & Space Sciences (한국항공우주학회지)

The Korean Society for Aeronautical and Space Sciences (한국항공우주학회)
권호 표지
DOI QR코드

DOI QR Code

Improvements of pursuit performance using episodic parameter optimization in probabilistic games

에피소드 매개변수 최적화를 이용한 확률게임에서의 추적정책 성능 향상

  • 곽동준 (서울대학교 기계항공공학부) ;
  • 김현진 (서울대학교 기계항공공학부)
  • Received : 2011.10.17
  • Accepted : 2012.01.26
  • Published : 2012.03.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we introduce an optimization method to improve pursuit performance of a pursuer in a pursuit-evasion game (PEG). Pursuers build a probability map and employ a hybrid pursuit policy which combines the merits of local-max and global-max pursuit policies to search and capture evaders as soon as possible in a 2-dimensional space. We propose an episodic parameter optimization (EPO) algorithm to learn good values for the weighting parameters of a hybrid pursuit policy. The EPO algorithm is performed while many episodes of the PEG are run repeatedly and the reward of each episode is accumulated using reinforcement learning, and the candidate weighting parameter is selected in a way that maximizes the total averaged reward by using the golden section search method. We found the best pursuit policy in various situations which are the different number of evaders and the different size of spaces and analyzed results.

본 논문에서는 추적-회피 게임에서 추적자의 추적성능을 향상시키기 위한 최적화 기법을 소개한다. 제한된 공간상에서 추적자는 도망자를 빠른 시간 내에 찾아내고 잡기 위해 확률맵을 생성하고 그 확률정보를 토대로 탐색한다. 추적자는 기존 global-max와 local-max의 장점을 취한 hybrid 추적방식을 사용하는데 이 추적방식은 global-max와 local-max 성향을 조절하는 가중치를 갖는다. 따라서 상황별 최적의 가중치를 찾기 위해 에피소드 매개변수 최적화 알고리즘을 제안하였다. 이 알고리즘은 가중치에 대한 다수의 추적-회피 게임 에피소드를 반복적으로 수행하는 동안 강화학습을 통해 보상을 누적한 후 해당 가중치의 평균보상을 최대화 하는 방향으로 황금분할법을 사용하여 최적의 가중치를 찾는다. 이 최적화 기법을 이용하여 여러 상황별 최적 추적정책을 찾기 위해 도망자 수와 공간의 크기를 변화시켜가며 각각 최적화를 수행하였고 그 결과를 분석하였다.

Keywords

References

  1. Isaacs, R., Differential games: a mathematical theory with applications to warfare and pursuit, control and optimization, Wiley, New York, 1965.
  2. Vidal, R., Shakernia, O., Kim, J., Shim, D., and Sastry, S., "Probabilistic pursuit-evasion games: theory, implementation, and experimental evaluation," IEEE Trans. on Robotics and Automation, 2002, Vol. 42, pp. 662-669.
  3. Schenato, L., Oh, S., and Sastry, S., "Swarm coordination for pursuit evasion games using sensor networks," In Proceedings of the 2005 IEEE International Conference on Robotics and Automation, 2005, pp. 2493-2498.
  4. Kwak, D. and Kim, J., "Probabilistic Pursuit-Evasion Game," In Proceedings of KACC 2009.
  5. Kwak, D. and Kim, J., "Probabilistic Pursuit-Evasion Game," In Proceedings of KSAS Fall 2009 Conference, 2009, pp. 709-712.
  6. Kwak, D. and Kim, J., "Probabilistic Pursuit-Evasion Game using Reinforcement Learning," In Proceedings of KSAS Fall 2011 Conference, 2011.
  7. I. D. Couzin, J. Krause, N. R. Franks, and S. A. Levin, "Effective leadership and decision-making in animal groups on the move," Nature, 2005, vol. 433, no. 7025, pp. 513-516. https://doi.org/10.1038/nature03236
  8. Khosla, P. and Volpe, R., "Superquadric artificial potentials for obstacle avoidance and approach," In Proceedings of the 1988 IEEE International Conference on Robotics and Automation, 1988, pp. 1778-1784.
  9. Sutton, R. S. and Barto, A. G., Reinforcement learning: an introduction, MIT Press, Cambridge, Mass., 1998.
  10. Press, W. H., Teukolsky, S. A., Vetterling, W. T., and Flannery, B. P., Numerical recipes in C: The art of scientific programming (2nd ed.), Cambridge: Cambridge University Press. 1992.