Dynamic Rank Adjustment for Accurate and Efficient Neural Network Training

저랭크 학습(Low-rank training)은 효율적인 심층 학습을 위한 핵심 전략임에도 불구하고, 모델의 표현력을 영구적으로 제약하고 ‘랭크 붕괴(Rank Collapse)’를 가속화한다는 근본적인 한계를 내포한다. 본 논문에서는 이를 해결하기 위해 동적 랭크 학습(Dynamic-rank training) 프레임워크를 제안한다. 제안된 기술은 모델이 저랭크 제약에서 일시적으로 벗어나 학습 잠재력을 완전히 회복할 수 있다는 직관을 기반으로 한다. 특히 학습률의 노이즈 구간(noise regime)에 맞춰 풀랭크 학습 단계를 전략적으로 도입함으로써 가중치의 유효 랭크와 모델의 표현력을 효과적으로 복원한다. 실험을 통해 본 기술이 저랭크 학습의 연산 효율성을 유지하면서도 풀랭크 모델과 유사한 정확도를 달성함을 입증했다.