CMDP-based Approach to Solve the Two-Holes Two-Balls Type Geduld-Spiele Cube

본 논문에서는 두-구멍 두-공 geduld-spiele(GS) 큐브 태스크를 constrained Markov decision process(CMDP) 문제로 표현하여 문제를 해결하는 방법을 제안한다. 본 논문에서 다루고자 하는 두-구멍 두-공 GS 큐브 태스크는, 평면 위에 두 개의 구멍이 있고 이 중 하나의 구멍에 공이 얹혀져 있다. 이 상황에서, 구멍에 이미 얹혀져 있는 공을 빠뜨리지 않고, 다른 하나의 공을 여분의 구멍에 안전하게 위치시키는 것을 목표로 한다. 이 문제를 해결하기 위해, 먼저 태스크를 CMDP 문제로 정의하였다. 다음으로, 정의된 CMDP를 안전강화학습 알고리즘인 constrained policy optimization으로 최적 정책을 획득하고 시뮬레이션을 통해 그 성능을 검증하였다. 이를 통해, 두-구멍 두-공 GS 큐브와 같이 제약조건이 고려되어야 하는 visuomotor 태스크에 대해, 안전강화학습 방법론으로 해결할 수 있는 가능성을 확인할 수 있었다.