Deep Reinforcement Learning based Robotic Control via Object Positions Inferred from Raw Images

본 논문은 이미지를 통해 목표 물체의 위치를 추정하고, 그 위치를 이용해 로봇 팔이 물체를 목표 위치로 이동시키는 강화 학습 방법을 제시한다. 목표 물체의 위치를 추정하기 위해, 사전 학습된 VGG16의 특징 추출 부분을 기반으로 변형된 Convolutional Neural Network (CNN) Position Extractor를 사용하여, 이미지와 목표 물체 위치의 데이터 쌍을 가지고 지도학습을 실시하였다. 강화 학습 기법으로 Hindsight Experience Replay (HER)와 Truncated Quantile Critics (TQC)를 사용하여 시뮬레이션 환경에서 로봇 팔이 목표 물체를 목표 위치로 이동시키도록 반복 훈련하였다. 학습된 로봇 팔이 이미지에서 목표 물체의 현재 위치를 추정하여 그 위치로 물체를 옮길 수 있으므로, 목표 물체의 위치를 실시간으로 추적하는 추가 센서가 필요하지 않다는 장점이 있다. 본 논문에서 개발한 방법을 사용했을 때 평균 누적 보상 –48.51와 성공률 95.0%를 달성하였다. 실험 결과를 통해 목표 물체를 정밀하게 측위하지 않아도, 이미지를 통해 목표 물체의 위치를 추정하고, 그 위치를 이용해 로봇 팔이 물체를 목표 위치로 이동시키는 것이 가능함을 확인하였다.