Integration of MAML and PPO for Optimized Vehicle/Cargo Dispatch in Dynamic Environments

항만물류 환경에서 차량과 화물 간의 효율적인 배차를 위해서는 배차의 공정성/일관성 및 도로 상황 등과 같은 다양한 환경 요소를 고려해야 한다. 이러한 요소들은 실시간으로 변화하며, 운송 차량과 운전자에게 직접적인 영향을 미칠 수 있다. 하지만 기존의 최적화 기법은 환경 변화에 대한 적응력이 부족하여 실시간 배차 최적화에는 한계가 존재한다. 본 논문에서는 메타 강화학습 알고리즘인 MAML(model-agnostic meta-learning)과 PPO(proximal policy optimization)를 결합한 배차 최적화 기법을 제안한다. MAML을 활용하여 다양한 배차 환경 에서 최적화된 초기 정책을 학습하고, PPO를 통해 환경 변화에 적응하며 지속적으로 정책을 개선함으로써 배차 성능을 극대화한다. 모의실험을 통해 MAML+PPO 기반 최적화 알고리즘이 기존 알고리즘 대비 우수한 배차 성능을 보임을 확인하였다. 특히, APM(aggregate performance measure) 기반 성능 분석 결과, 제안한 알고리즘이 다양한 시나리오에서 높은 일반화 성능과 안정적인 최적화 성능을 달성함을 보였다.