Optimal Power Allocation and Sub-Optimal Channel Assignment for Downlink NOMA Systems Using Deep Reinforcement Learning

최근 몇 년 동안, 딥러닝의 발전에 따라 비직교 다중 접속(Non-Orthogonal Multiple Access, NOMA) 시스템에 딥러닝을 통합하고자 하는 노력으로써 NOMA 시스템은 다중 접속 프레임워크의 유망한 후보로 떠오르고 있다. 이러한 활발한 연구의 주된 동기로는, 사물인터넷(Internet of Things, IoT)의 확장으로 인한 네트워크 자원의 한정성에 대응하고자 네트워크 자원의 활용을 최적화할 필요성이 증가하고 있기 때문이다. NOMA는 사용자들이 네트워크에 동시다발적으로 접속하게 해주는 전력 다중화를 통해 이러한 요구를 해결한다. 그럼에도 불구하고, NOMA 시스템은 몇 가지 한계점이 존재한다. 전력 할당 최적화를 하는 Joint Resource Allocation(JRA) 방법, JRA 방법과 심층 강화학습(deep reinforcement learning, DRL)을 통합하는 JRA-DRL 방법 등을 포함한 다양한 방법들이 이러한 한계점들을 보완하고자 제안되었다. 그러나 채널 할당 문제는 여전히 불명확하며 추가적인 연구가 필요 하다. 본 논문에서는, NOMA 시스템에서 네트워크 자원을 할당하는 심층 강화학습 프레임워크를 제안하며, 이는 학습을 일반화시키기 위해 on-policy 알고리즘에 리플레이 메모리(replay memory)를 통합하는 방식이다. 또한 본 논문에서는, 학습률, 배치 사이즈, 모델의 종류, 그리고 상태 정보(state)의 특징 개수에 변화를 주었을 때의 효과를 평가하기 위해 다양한 실험 결과들을 제공한다.