A Study on Highway Driving Decision Making with Hybrid Action for Autonomous Vehicles Using Deep Reinforcement Learning

다차선 고속도로 환경에서는 다양한 교통 상황이 발생하며 교통 수칙을 준수하면서 주행해야 하며 이는 자율주행에서 매우 어려운 과제이다. motion planning에 대한 기존의 판단 방법은 규칙 기반 판단 방법으로 복잡한 환경에서 안전을 보장할 수 없으며, 이 문제를 해결하기 위해 심층 강화학습을 적용한 판단 방법에 관한 연구가 진행되고 있다. 본 논문에서는 심층 강화학습 속 하이브리드 액션을 이용한 proxiaml policy optimization(PPO)에 기반한 판단 방법을 제시한다. 심층 강화학습 모델의 상태 공간은 차선 정보, 속도를 포함한 자차량(ego)의 상태, 주변 차량의 상태를 포함하며, 연속 종 방향 액추에이터 값과 이산 횡 방향 차선 변경 판단을 출력으로 한다. 차선 변경을 위해 고정된 스티어링(steering)을 사용하는 것이 아닌 pure pursuit을 통해 액추에이터 단계의 스티어링을 제어한다. 100번의 테스트를 진행하여 충돌률을 포함한 평가 지료를 제시하며, 실험 결과는 하이브리드 액션을 이용한 에이전트가 연속 또는 이산 행동을 취하는 에이전트보다 더 안전하다는 결과를 보여준다.