Efficient AI Model Scheduling for Multi-node DPU-GPU Systems

AI 기술의 급속한 발전으로 인해 대규모 데이터를 빠르게 처리하고, 복잡한 연산을 실시간으로 수행할 수 있는 고성능 컴퓨팅 인프라의 필요성이 점점 더 중요해지고 있다. 그러나 기존의 단일 CPU-GPU 기반 시스템은 이러한 연산 및 데이터 처리 요구를 감당하기에 구조적 한계가 있으며, 특히 대규모 언어 모델과 같이 연산량과 메모리 소모가 큰 AI 모델 학습에는 적합하지 않다. 이러한 문제를 해결하기 위한 방안으로 다수의 GPU를 활용하는 분산 시스템이 널리 사용되고 있으며, 최근에는 데이터 전송 및 처리를 전담하는 데이터 처리 장치(Data Processing Unit, DPU)가 새롭게 도입되어 CPU의 부담을 줄이고 시스템의 병목 현상을 완화하는 데 기여하고 있다. 본 논문에서는 이러한 DPU와 GPU를 통합한 멀티 노드 기반의 분산 시스템을 최적화하여 AI 모델의 학습과 추론을 보다 효율적으로 수행하기 위한 스케줄링 기법을 제안한다. 제안된 방법은 노드 내부(intra-node)에서는 DPU와 GPU 간의 데이터 전송 지연을 최소화하기 위한 정밀한 스케줄링을 수행하고, 노드 간(inter-node)에서는 모델 특성과 하드웨어 구성을 고려하여 데이터 병렬화, 텐서 병렬화, 파이프라인 병렬화 전략 중 최적의 분산 학습 방식을 동적으로 선택한다. 다양한 AI 모델을 대상으로 실험을 수행한 결과, 본 연구에서 제안한 스케줄링 기법은 최적화되지 않은 기존 멀티 노드 DPU-GPU 시스템 대비 평균 1.39배의 처리 속도 향상을 달성함으로써 그 효율성과 실용 가능성을 입증하였다.