Forward-Forward Algorithm with Arc Memory in Few-Shot Learning

Forward-Forward 알고리즘은 역전파를 대체할 새로운 방법론으로 인간의 뇌의 동작 방식과 유사하게 각각의 레이어마다 독립적으로 학습한다. 그러나 이러한 학습 방법은 레이어 간 정보 전달 능력에 의문점이 존재한다. 본 연구에서는 인간의 기억능력을 모방하여 각 레이어에 독립된 메모리 공간을 할당하여 레이어 간 정보전달에 활용할 수 있는 방법을 제안한다. 각 레이어의 라벨별 출력값을 평균내어 메모리에 저장하고, 저장된 값과 현재 레이어 출력값을 각도기반 손실함수로 계산하여 각각의 라벨마다 고유한 각도에 분포되게 한다. 또한, 이전 레이어의 메모리 값과 현재 레이어의 출력값을 각도기반 손실함수로 계산하여 이전 레이어와 유사한 각도를 갖도록 학습하였다. 실험 결과, 데이터가 극히 적은 초기 단계에서는 한계가 있었으나, 데이터가 일정 수준(100-shot) 이상 확보되었을 때 제안하는 방법은 MNIST 데이터셋에서 90.71%의 정확도를 달성하여, 기존 Forward-Forward 알고리즘(89.63%) 대비 향상된 성능을 보임을 확인하였다.