Three operator splitting algorithm for structured sparse learning in convolutional neural networks

최근 딥러닝 기반 이미지 처리 기술이 주목받으면서 대규모 합성곱 신경망의 활용도 함께 증가하고 있다. 하지만 모델이 복잡해질수록 연산량과 메모리 요구가 커져 실시간 환경에 적용하기에 제약이 따른다. 이에 따라 모델 경량화 기법이 활발히 연구되고 있으나, 구조가 고정되어 있거나 학습 후 별도의 재학습 과정이 필요한 한계가 존재한다. 본 연구에서는 벌점화 기반 학습을 통해 구조에 제약을 받지 않고 재학습 없이도 경량화된 합성곱 신경망을 얻을 수 있는 방법을 제안한다. 특히, 학습 과정 중 채널 및 필터 수준의 구조적 희소화를 동시에 유도하기 위해, 세 항 분리 기법을 활용한 최적화 방법을 도입하였다. 세 항 분리 기법은 서로 다른 정규화 항에 대해 개별적으로 proximal operator를 적용함으로써, 별도의 임계값 설정 없이도 학습 과정에서 자연스러운 희소화를 가능하게 한다. 실제 데이터에 적용한 결과, 제안한 방식은 정확도 손실을 1% 미만으로 유지하면서도, 기존 방법 대비 우수한 연산 절가 효과를 달성하였으며, 추가적인 재학습 없이도 효율적인 희소화 성능을 입증하였다.