Improving BERT Classification Model Performance using Data Augmentation

시스템 사용자들은 문제를 운영 시스템을 기준으로 인식함에 따라, 장애 요인과 무관하게 요청사항이 시스템 운영 부서로 전달되는 경향이 많다. 이러한 현상을 바탕으로 운영 부서로 잘못 전달된 IT 요청사항 데이터셋을 활용하여 대형 언어 모델(LLM) 가운데 하나인 BERT모델로 학습하였고, IT 요청사항 데이터셋은 총 4개 부서의 클래스로 구성되어 있다. 모델학습 결과 Validation Loss(검증 데이터 손실) 증가로 과적합이 발생함에 따라 이에 대한 가장 효율적인 해결 방안으로 데이터 증강을 시도하였다. BERT와 같은 대규모 알고리즘은 소규모의 데이터셋으로 모델을 훈련할 경우 과적합(Overfitting)이 일어날 수 있기 때문이다. 과적합을 방지하고 모델의 학습 성능을 향상시키기 위해 훈련 데이터 증강(Data Augmentation)이 효과적인 방법으로 제시된다. 본 연구에서는 대표적인 네 가지의 텍스트 데이터 증강 기법을 적용하여 모델의 학습 정확도와 모델 일반화(Model Generalization) 능력을 비교 실험하는 연구를 수행하였다.