Solving the Geduld-Spiele Cube with Meta-Reinforcement Learning

사람은 태스크의 속성을 파악한 뒤 해당 태스크를 해결하기 위한 피드백 정책을 생성하는 일련의 과정을 통해 주어진 태스크를 해결한다. 이러한 메타 인지 개념을 강화학습에 접목한 것이 메타-강화학습으로, 태스크의 환경이 학습이 진행되었던 환경과 달라졌을 때에도 에이전트가 적절한 대응 정책을 생성하도록 한다. 본 논문에서는 시각-운동 태스크의 일종인 1-구멍 1-공 geduld-spiele(GS) 큐브를 사람처럼 푸는 에이전트를 구현하기 위한 메타-강화학습 기반 방법론을 제안한다. 먼저, 다양한 곡률의 1-구멍 1-공 GS 큐브 태스크(주어진 판의 곡률)를 메타-강화학습 프레임워크로 정의하였다. 다음으로, probabilistic embeddings for actor-critic RL을 사용하여, 메타-강화학습 에이전트를 훈련하였다. 마지막으로, 학습된 메타-강화학습 에이전트의 성능을, 특정 곡률에 대해서만 학습된 강화학습 에이전트와 비교분석하였다. 실험 결과, 메타-강화학습으로 학습한 에이전트는 경험해 보지 못한 곡률의 GS큐브 문제에 있어, 해당 곡률만을 학습한 에이전트 대비 91%에 상응하는 성능을 보였다. 이를 통해, 시각-운동 태스크에 대해 메타-강화학습 에이전트가 사람처럼 유연한 대응 전략생성할 수 있는 가능성을 확인하였다.