실시간 동적 프로그래밍에 기초한 확률 계획기의 설계 및 구현

전통적 계획방식은 결정적 효과를 간진 동작들로 이루어진 도메인을 다룬다. 따라서 전통적 계획기는 동작이 환경을 어떻게 변화시킬지 명확하게 예측할 수 있다. 그러나, 많은 실제 응용들에서는 불완전한 정보와 비-결정적 효과를 처리할 수 있는 계획방식을 요구한다. 확률적 계획방식은 확률적 효과를 가진 동작들을 포함함으로써 이러한 요구를 만족한다. 확률적 계획기는 일반적으로 목표상태에 도달하기 위한 하나의 행동정책을 찾아내며, 이는 (상태, 동작)쌍들의 집합으로 표현된다. 그러나 확률적 효과를 포함시킴으로써 계획기들의 복잡도가 이전보다 증가되었다. 본 논문에서는 효율적인 확률적 계획기의 설계와 구현에 대해 설명한다. 이 계획기는 표준 PPDDL 언어로 표현된 도메인 묘사를 입력으로 받아들이며, 실시간 동적 프로그래밍 알고리즘을 채용하고, 간략화한 문제로부터 추출된 휴리스틱 지식을 이용한다. 생성된 상태들과 행동정책을 효율적으로 저장하기 위해, 이 확률적 계획기는 해쉬테이블을 이용한다.