Teacher Response Entropy Based Adaptive Knowledge Distillation

지식 증류는 대규모 딥러닝 모델의 성능을 유지하면서 모델 크기를 축소할 수 있는 대표적인 딥러닝 기반 모델 경량화 기법이다. 지금까지 다양한 지식 증류 기법들이 학계에서 제안되었으나 기존의 지식 증류 방법들은 모든 학습 샘플에 대해 동일한 가중치를 적용하는 정적인 방식을 사용하여, 문제의 난이도나 교사 모델의 특성을 고려하지 못하는 한계가 있다. 따라서, 본 연구에서는 교사 모델 출력의 엔트로피를 기반으로 지식 증류의 강도를 적응적으로 조절하는 새로운 방법을 제안한다. 제안된 방법은 교사 모델의 출력 엔트로피를 통해 각 학습 샘플의 난이도를 추정하고, 이를 바탕으로 지식 증류와 직접 학습의 비중을 조절한다. CIFAR-100 데이터셋에서의 실험 결과, 제안된 방법은 기존 지식 증류 방법 대비 동일 네트워크 구조에서 평균 0.47%, 서로 다른 네트워크 구조에서 평균 0.62%의 추가적인 정확도 향상을 달성하였다. 특히, 교사 모델이 오답을 제시한 샘플들에서 더 큰 성능 개선을 보임으로써, 제안된 방법이 단순한 모방을 넘어 향상된 일반화 능력을 달성할 수 있음을 입증하였다.