A Research on Diffusion-based Offline Reinforcement Learning for Data-Driven Control

강화학습은 순차적인 의사 결정 문제에 있어 유용한 솔루션을 제공해 왔다. 그러나 현실 세계에서는 환경과의 무제한적인 상호작용 및 피드백의 어려움으로 인해, 강화학습을 직접 적용하는 데 어려움이 존재한다. 이에, 전문가의 행동 데이터셋을 기반으로 해당 데이터셋 내에서 최적의 행동을 도출하는 오프라인 강화학습이 제시되었다. 또한, 오프라인 강화학습은 최근 급격히 발전하는 생성 모델의 능력에 힘입어, 생성 모델 기반 강화학습으로 확장되었다. 생성 모델 기반 강화학습은 임의의 데이터 분포를 근사할 수 있는 생성 모델의 능력을 사용하여 전문가의 행동으로 구성된 데이터셋의 분포를 학습하는 것을 그 목적으로 한다. 본 고에서는 해당 오프라인 강화학습 및 확산 모델을 사용한 생성 모델 기반 강화학습의 이론적 배경 및 특징에 대해 논하고, 다양한 강화학습 환경에서 해당 방법론의 성능 및 특징점을 분석한다. 이를 통해, 확산 모델 기반 오프라인 강화학습이 가지는 장점 및 향후 연구의 방향성을 제시한다.