Experimental Study on Text Classification Using Embedding Models

본 논문에서는 텍스트 분류 작업에서 TF-IDF(Term Frequency-Inverse Document Frequency)와 같은 희소 벡터(sparse vector)와 임베딩 모델을 통해 계산하는 밀집 벡터(dense vector)의 성능 차이를 비교하기 위해 실험을 수행한다. 과거에는 SVM, RandomForest와 같은 전통적인 머신 러닝 알고리즘에 TF-IDF 기반의 희소 벡터를 주로 사용하였으나, 최근에는 임베딩 모델의 발전으로 문장의 의미적 이해의 수준이 높아져 도메인별 문제 해결에 많이 활용되어 오고 있다. 본 논문에서는 임베딩 모델을 활 용하여 밀집 벡터 값을 계산하고, 이를 특징 값으로 하여 전통적인 머신러닝 알고리즘에 적용하여 실험을 수행하였다. 실험 데이 터 셋으로는 이메일 스팸/비스팸 데이터셋을 사용하였고, 5가지의 임베딩 모델과 4가지 분류 알고리즘으로 10 폴드 교차 검증 (10-fold cross validation)으로 검증하였다. 실험 결과에서 SVM에 희소 벡터 값을 사용했을 때 보다, SVM에 밀집 벡터 값을 사 용했을 때, F-Score 기준으로 2.6%의 향상이 있었다. 이로써 텍스트 분류에 있어 임베딩 모델을 활용한 밀집 벡터가 효과가 있 음을 알아냈다.