Multi-agent Deep Reinforcement Learning for Joint Beamforming, Active RIS Control, and Movable Antenna Positioning in ISAC Systems

차세대 6G 무선 통신에서는 통신과 센싱 기능을 통합하는 통합 센싱-통신(Integrated Sensing and Communication, ISAC)이 핵심 기술로 주목받고 있다. 또한 능동(Active) 재구성 지능형 표면(Reconfigurable Intelligent Surface, RIS)과 이동형 안테나(Movable Antenna, MA)는 전파 환경 제어 및 공간 자유도 확장을 통해 통신 및 센싱 성능을 동시에 향상시킬 수 있는 유망한 기술이다. 본 논문에서는 능동 RIS와 MA를 결합한 ISAC 시스템을 고려하고, 기지국 송신 빔포밍, RIS 반사/증폭 계수, MA 위치를 공동으로 제어하여 레이더 감지 성능(Radar SINR)을 극대화하되, 사용자 통신 QoS(SINR 임계값)를 만족시키는 문제를 다룬다. 해당 공동 최적화 문제는 변수 간 강한 결합과 물리적 제약으로 인해 고차원 비볼록 형태를 가지므로, 본 연구는 이를 멀티에이전트 심층 강화학습(Multi-Agent Deep Reinforcement Learning, MA-DRL)으로 모델링한다. 구체적으로, BS, RIS, MA를 각각 독립 에이전트로 두고, 각 에이전트는 연속 제어 정책을 오프-폴리시 방식으로 학습하며, 환경에서 관측되는 전역 보상을 공유하여 협력적으로 목표를 달성한다. 시뮬레이션 결과, 제안한 MA-DRL 프레임워크는 고정형 안테나 및 수동 RIS 기반 방식 대비 레이더 감지 성능을 유의미하게 개선하면서 통신 QoS 제약을 안정적으로 만족함을 확인하였다.