SuperSmall-R1: A Lightweight Reinforcement Learning Model for Mathematical Reasoning

본 연구에서는 경량 텍스트 언어모델 DeepSeek-R1-Distill-Qwen-1.5B 를 기반으로 수학 문제 해결에 특화된 소형 추론모델 SuperSmall-R1을 제안한다. 제안된 모델은 별도의 지도 미세조정(SFT) 없이, 강화학습만으로 성능을 향상시킨다. 구체적으로, 기존의 GRPO 알고리즘에서 KL 발산 페널티를 제거한 ZeroGRPO를 제안하여 정책의 탐색 자유도를 높이고자 하였다. 또한 기존의 복잡한 penalty 기반 보상체계 대신, 간결한 포맷 일치 및 정답 여부만으로 구성된 단순하면서도 효과적인 보상 함수를 적용하였다. 특히 초기부터 어려운 문제를 풀 경우 발생하는 보상 부족 문제를 해결하기 위해 난이도를 점진적으로 높이는 커리큘럼 학습(curriculum learning)을 도입하였다. Math-500 벤치마크를 활용한 실험 결과, 제안된 방법은 원본 베이스모델뿐 아니라 기존 GRPO, Penalty GRPO 알고리즘을 사용한 방법보다 높은 정확도를 보이며, 제한된 자원 환경에서도 수학 문제 해결 능력이 효과적으로 향상됨을 확인하였다.