Cubic Spline Interpolation Square-root Compute Unit for Cost-efficient Batch-normalization Calculation of Accurate DNN Training

본 논문은 Deep Neural Network (DNN)의 훈련 중 배치 정규화 단계에서 요구되는 표준편차 연산을 위한 Cubic Spline Interpolation 기반 제곱근 연산기 (CSISR)를 제안한다. 본 연구는 선형 보간법 대비 자원 소모를 줄이고 높은 정확도를 달성할 수 있는 cubic spline 보간법을 적용한 비선형 제곱근 연산 방법을 소개한다. 특히, 룩업테이블을 사용하지 않는 설계 방식을 택하여 하드웨어 면적을 절약하였다. 이로 인해 제안된 연산기는 하드웨어 자원 사용을 최소화하고 에너지 효율을 개선하는 데 기여한다. 본 연산기를 Brain Foating Point 16bit (Bfloat16) 데이터 포맷을 이용하여 Verilog HDL로 구현하고 객체 탐지 모델 YOLOv2 DNN 모델의 배치 정규화 레이어에 적용하여 훈련한 결과, 원래의 PyTorch를 사용한 GPU 연산과 유사한 학습 정확도를 보여주었다. 특히, 구현된 연산기의 평균 오차율은 0.1915%로 높은 정확도를 제공한다. 제안된 제곱근 연산기를 bfloat16 data format을 목표로 설계하고 TSMC 180nm 공정을 사용하여 총 칩 면적과 전력 소모를 측정하였다. 칩 면적은 889.2㎛²로, 기존 기술 대비 86% 작으며, 전력 소모는 0.1572 mW로 기존 기술 대비 79% 낮음으로 평가된다.