Handover Minimization Scheme Using Multi-Agent Deep Reinforcement Learning in Multi-Beam Low Earth Orbit Satellites

본 논문에서는 중앙 집중 학습 및 분산 실행(CTDE, Centralized Training Decentralized Execution) 방식의 다중 에이전트 심층 강화 학습(MADRL, Multi-Agent Deep Reinforcement Learning) 알고리즘인 Multi-Agent Proximal Policy Optimization,(MAPPO) 기반 다중 빔 저궤도 위성 핸드오버 전략을 제안한다. 제안된 방법은 빔간 및 위성 간 핸드오버 발생 시의 비용 차이, 사용자 서비스 품질 제약 조건, 그리고 부하 균형을 고려하여 핸드오버 횟수를 최소화하고 처리율을 최대화하는 것을 목표로 한다. 각 사용자는 국소 정보(커버리지 내 부하 수 및 채널 정보)를 바탕으로 독립적으로 핸드오버를 결정하며, 이는 복잡하고 동적으로 변하는 다중 빔 저궤도 위성 환경에 즉각적인 대응을 가능하게 한다. 시뮬레이션 결과, 제안된 알고리즘은 기존 핸드오버 알고리즘에 비해 핸드오버 횟수를 39.1%에서 75.53%까지 감소시키고, 처리율을 14.6%에서 157.7%까지 향상시켰음을 보임으로써, 제안 알고리즘의 우수한 성능을 입증하였다.