A Multi-Modal Emotion Recognition Model Incorporating Arousal and Valence with Incomplete Data

인공지능 기술의 발전과 함께 감정 인식은 중요한 연구 주제로 부상하고 있으며 멀티모달 감정 인식은 상호보완적인 정보를 통합하여 인간의 감정을 정밀하게 분석할 수 있다. 그러나 기존의 범주형 감정 분류 모델은 복합적인 인간의 감정을 충분히 표현하기 어렵다. 각성도(Arousal)와 긍․부정도(Valence)를 두 축으로 감정을 표현하는 감정 모델은 기존 이론의 한계를 보완하지만 주로 영상 데이터에 치중되어 다양한 데이터 형식에 적용하는 데 어려움이 있다. 본 연구에서는 오디오와 텍스트 데이터를 사용하여 각성도와 긍․부정도를 사전 학습한 후비언어적 요소와 언어적 요소를 통합하는 구조를 통해 불완전한 데이터 상황에서도 견고한 멀티모달 감정 인식 모델을 제안한다. 한국어 대화 데이터셋(KEMDy20)을 사용한 분석 결과, 오디오 기반 각성도 예측 모델과 텍스트 기반 긍․부정도 예측 모델을 결합한 감정 인식 모델이 각성도 및 긍․부정도 회귀 지표와 감정 분류 정확도에서 상대적으로 높은 성능을 보이며 유의미한 결과를 보였다. 이는 모달리티 별 특성을 고려한 각성도와 긍․부정도 예측이 감정 인식 모델의 성능 향상에 효과적임을 시사한다.