A Study on Reinforcement Learning-Based Algorithms for Autonomous Vehicle Control Using ADAMS and Simulink

본 논문은 실제 차량을 이용한 강화학습 적용 시 발생할 수 있는 물리적 손상, 안정성 문제, 높은 비용 및 반복 학습의 문제를 해결하기 위하여 시뮬레이션을 활용한 강화학습 환경 구축 방안에 대한 연구를 수행하였다. 다물체 동역학 시뮬레이터인 ADAMS와 MATLAB Simulink를 연동한 시뮬레이션 환경을 구축하고, 이를 기반으로 Q-learning과 딥러닝을 결합한 심층 강화학습 기법인 DQN(Deep Q-Network) 알고리즘 기반의 자율주행 제어기를 설계하였다. 본 논문에서는 동역학 시뮬레이션의 신뢰성을 확보하기 위해 실제 차량의 계근시험 및 장애물 통과 주행시험과의 비교를 통해 차량의 동특성을 적절히 반영하는 해석모델을 활용하였다. 또한 경험 재생과 타겟 네트워크 기법을 적용하여 학습의 안정성과 수렴 속도를 향상시켰다. 제안된 제어기는 서로 다른 곡률 조건의 노면 주행 시뮬레이션을 통해 경로 추종 자율주행 기능을 학습하고 평가하였으며, 2005년 DARPA Grand Challenge에서 우승한 스탠포드 대학교의 Stanley 차량에 적용된 규칙 기반의 제어 기법과의 성능을 비교 분석하여 강화학습 기반 제어 시스템의 실용성을 평가하였다. 이를 바탕으로 향후 다양한 형태의 강화학습 제어 기법들을 적용하여 차량의 제어 성능을 개선할 수 있을 것으로 판단된다.