Software-Level GPU Preemption via OpenCL Kernel Scheduling in User Space

현대 임베디드 시스템에서 AI의 활용이 증가하면서, GPU 기반 DNN 추론의 실시간성 확보가 중요한 과제로 부상하고 있다. 그러나 GPU는 선점 비용이 큰 공유 자원이기 때문에, 프로세스 간 선점이 효과적으로 지원되지 못하고 있다. 그 결과로 프로세스 간 자원 경합 시 우선순위 역전 현상이 초래되어, GPU를 사용하는 임베디드 시스템에서의 실시간 멀티태스킹을 어렵게 한다. 기존 연구에서는 하드웨어 종속적인 방법을 통해 GPU 선점을 제공하려고 하였으나, 이식성과 확장성의 한계를 가졌다. 본 연구에서는 GPU 선점을 제공하면서도, 기존 연구의 제한점을 해결할 수 있는 소프트웨어 수준의 GPU 선점 기법을 제안한다. 제안된 기법은 프로세스들의 GPU 커널 실행 요청을 가로채고, 이를 사용자 공간에서 동작하는 OpenCL 커널 스케줄러에 전달하여, GPU 커널들이 우선순위에 따라 수행될 수 있도록 한다. 실험 결과를 통해 제안 기법이 높은 수행 결정론성을 달성함을 확인하였다.