Proceedings of the Korean Society of Computer Information Conference (한국컴퓨터정보학회:학술대회논문집)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지

Q-learning based packet scheduling using Softmax

Softmax를 이용한 Q-learning 기반의 패킷 스케줄링

  • Kim, Dong-Hyun (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
  • Lee, Tae-Ho (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
  • Lee, Byung-Jun (Dept. of Electrical and Computer Engineering, Sungkyunkwan University) ;
  • Kim, Kyung-Tae (Dept. of Software, Sungkyunkwan University) ;
  • Youn, Hee-Yong (Dept. of Electrical and Computer Engineering, Sungkyunkwan University)
  • 김동현 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) ;
  • 이태호 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) ;
  • 이병준 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) ;
  • 김경태 (성균관대학교 소프트웨어대학 소프트웨어학과) ;
  • 윤희용 (성균관대학교 정보통신대학 전자전기컴퓨터공학과)
  • Published : 2019.01.16
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 자원제한적인 IoT 환경에서 스케줄링 정확도 향상을 위해 Softmax를 이용한 Q-learning 기반의 패킷 스케줄링 기법을 제안한다. 기존 Q-learning의 Exploitation과 Exploration의 균형을 유지하기 위해 e-greedy 기법이 자주 사용되지만, e-greedy는 Exploration 과정에서 최악의 행동이 선택될 수도 있는 문제가 발생한다. 이러한 문제점을 해결하기 위해 본 연구에서는 Softmax를 기반으로 다중 센서 노드 환경에서 데이터 패킷에 대한 Quality of Service (QoS) requirement 정확도를 높이기 위한 연구를 진행한다. 이 때 Temperature 매개변수를 사용하는데, 이는 새로운 정책을 Explore 하기 위한 매개변수이다. 본 논문에서는 시뮬레이션을 통하여 제안된 Softmax를 이용한 Q-learning 기반의 패킷 스케줄링 기법이 기존의 e-greedy를 이용한 Q-learning 기법에 비해 스케줄링 정확도 측면에서 우수함을 보인다.

Keywords