Scalable Multi-chip CNN Accelerator Design and Neural Network Partition Technique for Improving Inference Speed

컨볼루션 신경망(CNN)의 발전에 따라 신경망 모델의 크기가 급격히 커지고 있어 전체 CNN 네트워크를 단일 CNN 가속기 칩에 매핑하는 것이 점점 어려워지고 있다. 이를 해결하기 위해 본 논문에서는 다중 칩 CNN 가속기의 확장 가능한 아키텍처를 제안하며, 이는 나노미터 규모의 공정 기술을 사용한 거대한 가속기 설계 및 제조의 천문학적 비용을 피할 수 있게 한다. 다중 칩 접근 방식은 현대 신경망의 급격히 증가하는 크기를 수용하는 비용 효율적인 솔루션으로 간주된다. 이는 대규모 신경망을 여러 개의 소형 가속기 칩으로 분할하면 소형 가속기의 설계 노력을 줄이고 저비용 공정 기술을 사용하여 소형 칩을 제조할 수 있다는 관찰에 기인한다. 본 논문에서는 신경망을 여러 칩으로 분할하는 다양한 기법의 비교 분석을 제시하며, 출력 채널 기반 분할이 칩 간 데이터 전송 시간 측면에서 더 효율적임을 입증한다. 제안된 다중 칩 아키텍처의 성능 향상을 보여주기 위해, 객체 탐지 CNN 모델인 YOLOv5n을 목표로 한 예제 다중 칩 가속기를 설계하고, 두 개의 Xilinx VCU118 FPGA를 기반으로 한 다중 FPGA를 사용하여 구현하였다. 실험 결과, 두 개의 FPGA 구현은 단일 칩 구현에 비해 추론 속도가 70% 향상되는 동시에 지연 시간이 71% 감소함을 보여준다.