A Research on Korean Facial Emotion Classification Based on Vision Transformer Model

인간의 표정은 기본적인 감정을 전달하는 표현 요소로써 인간과 컴퓨터 간의 상호작용에서 중요한 역할을 한다. 컴퓨터 비전 및 머신러닝 분야에서는 최근 딥러닝을 기반으로 얼굴 표정을 기본 감정으로 분류하며, 그 중 합성곱 신경망(CNN: Convolution Neural Network) 기반의 모델이 주로 쓰이고 있다. 모델을 학습하는데 주로 쓰이는 데이터셋들은 다양한 인종이 섞여 있으며, 서양인의 얼굴 중심으로 이뤄져있다. 본 연구에서는 사전 학습된 비전 트랜스포머(ViT: Vision Transformer) 모델을 한국인의 얼굴 표정에 7가지 감정으로 라벨링되어 있는 데이터셋을 기반으로 파인튜닝한다. 모델에 입력하기 위해 데이터셋에서 제공되는 메타데이터에서 제공하는 얼굴의 좌표값을 활용하여 얼굴 부분을 크롭하고 총 70,000장의 이미지를 8:1:1의 비율로 분할하여 데이터셋을 재구성하였다. 학습된 한국인 얼굴 감정 분류 비전 트랜스포머는 전체 테스트 데이터셋에 대한 정확도 85.54 %를 기록하며 동일한 데이터셋을 사용한 합성곱 신경망 기반 모델에 비해 1.17 %의 성능 향상을 보였다. 다른 클래스들에 비해 낮은 성능을 보였던 불안, 슬픔을 나타내는 클래스에 대해서도 성능을 개선하였다.