Quantization Driven Lightweight Deep Neural Network for Image Classification

최근 깊고, 방대한 크기의 구조를 가진 고성능의 딥러닝 모델들이 잇따라 소개되면서 필요로 하는 컴퓨팅 자원이 커져가고 있다. 이 경우에 모델의 사용성을 확장하기 위해서는 모델을 경량화하는 방법이 필수적인데, 대표적으로 실시간 추론이 중요한 분야에는 객체 감지를 사용하는 자율주행 차량이 있다. 객체 감지 모델의 경우 구성 요소 중 백본 네트워크로 사용되는 이미지 분류 모델이 일반적으로 사용된다. 이 백본 네트워크를 효율적인 모델로 교체하면서 파라미터 수, 필요로 하는 컴퓨팅 자원을 효과적으로 축소시킬 수 있다. 본 논문에서는 객체 감지 모델에서 백본 네트워크로 활용되는 이미지 분류 모델 중, MobileNetV3 모델의 활성화 함수를 교체하고 양자화 기법을 적용하여 개선된 MobileNetV3을 제안한다. 모델의 주요 변경사항은 활성화 함수를 Leaky ReLU로 변경하였으며, 하이퍼파라미터는 bayesian optimization을 통해 최적화된 값으로 선정하였고, 양자화를 수행함으로써 모델을 경량화시켰다. 실험 결과는 이러한 개선 사항들이 모델을 경량화시키면서도 정확도를 유지하는 데 기여하였음을 확인하였다.