Experimental Study on Cross Task Generalization Phenomenon in Korean small Large Language Models (sLLM)

거대 언어 모델(LLM)에 대한 관심이 높아지는 가운데 소형 거대 언어 모델(sLLM)에 대한 연구 또한 활발히 진행되기 시작했다. LLM을 포함한 sLLM에 관한 연구가 진행되면서 기존의 언어 모델에서는 발견되지 않았던 능력이 발견되기 시작하였고, 특히, LLM은 학습되지 않은 태스크에 대한 답변을 할 수 있는 제로샷 학습(Zero-shot Learning)능력을 보유하고 있다는 사실이 알려지게 되었다. 본 연구는 LLM의 이러한 특징에 주목하여 학습 과정에서 학습되지 않은 태스크에 대한 한국어 사전 학습 sLLM의 교차 태스크 일반화 성능을 측정하고자 하였다. 이를 위하여 본 연구에서는 한국어 자연어 처리 연구에서 사용되고 있는 KLUE 벤치마크 데이터셋을 활용하여 인스트럭션 학습 및 평가 데이터셋을 구축하였다. 본 연구에서 수행한 학습 및 평가 태스크로는 기계독해, 개체명 인식, 자연어 추론, 주제 분류를 선정하였다. 실험 결과 한국어로 사전 학습된 sLLM에서 교차 태스크 일반화 능력이 관측되었다.