Dynamic re-Batch for Neural Network Training

인공 신경망의 학습 효율과 성능을 개선하기 위한 기존의 특징 추출 및 샘플링 방법은 도메인별 휴리스틱이나 복잡한 알고리즘에 의존하여 범용성이 제한되는 한계가 있다. 본 논문에서는 학습이 쉽거나 어려운 샘플을 손실값을 지표로 일정 비율 선정하여, 각 학습 에포크마다 학습 데이터세트에 동적으로 재분배하는 동적 re-Batch 전략을 제안한다. 실험 결과, 최소 손실 동적 re-Batch는 안정적인 경향을 보이며 이진 분류 및 일부 회귀 문제에서 성능을 개선하였다. 반면, 최대 손실 동적 re-Batch는 대다수의 실험에서 학습 불안정성과 성능 저하를 일으킨 것으로 나타났다. 이는 학습하기 어려운 샘플이 노이즈나 이상치일 가능성을 시사한다. 이 전략의 효과는 데이터세트에 따라 최적의 재분배 비율을 찾는 것이 중요함을 확인하였다.