A Study on Distributed Learning Algorithm for Heterogeneous Client Settings in Computing Capabilities

본 논문에서는 서로 다른 학습 능력을 가진 클라이언트와 서버로 구성된 분산학습 환경을 고려한다. 클라이언트의 컴퓨팅 능력이 제한되고 그 능력이 서로 다른 경우, 많은 클라이언트가 학습에 참여할 수 있도록 서버의 학습 능력을 활용하는 분할 학습과 순서화된 드롭아웃(Ordered dropout) 방식을 결합한 분산학습 알고리즘을 제안한다. 이를 통해 클라이언트가 학습하는 클라이언트 모델의 크기가 서로 다르더라도 모두 분산학습에 참여하여 전역 모델 성능 향상에 기여할 수 있음을 밝혔다. 기존에 제안된 ResNet50 모델을 통해 CIFAR-10 데이터셋에 대한 이미지 분류를 수행하는 실험을 설계하였으며, 클라이언트의 수와 데이터셋의 분포에 따른 분류 성능을 확인하였다. 클라이언트의 컴퓨팅 능력이 서로 다른 상황을 가정하여 클라이언트마다 다른 크기의 클라이언트 모델을 학습하였을 때, 모든 클라이언트가 전역 모델 학습에 기여함을 보였다.