Grid-Based Frame Sequence: A Spatio-Temporal Input Representation for Emotion Reasoning in HRI

자연스럽고 사회적 맥락을 인지하는 인간-로봇 상호작용을 위해서는 실시간 감정 이해가 필수적이다. 본 연구는 대형 언어 모델이 감정 분류 및 추론 과제를 수행할 때 멀티모달 입력 전략의 구조가 성능에 미치는 영향을 체계적으로 분석한다. 이를 위해 영상 프레임을 단일 공간 그리드에 배열한 그리드 기반 프레임 시퀀스를 시공간적 입력 표현으로 제안한다. 텍스트 설명, 특징 임베딩, 비디오 임베딩, 그리드 방식의 네 가지 전략을 Qwen2 모델 기반의 통합 프레임워크 내에서 비교하였으며, 모든 방식은 동일한 언어 백본을 공유하되 입력 유형에 따라 다른 모달리티별 인코더를 사용한다. 쾌·각성·지배(VAD) 유사도 기반 평가 지표와 추론 중첩 지표를 활용하여 성능을 검증하였다. 실험 결과, 그리드 방식은 기준 전략 대비 감정 유사도, 추론 품질, 형식 준수 측면에서 전반적으로 향상된 성능을 보였다. 본 연구는 대형 언어모델 기반 멀티모달 감정 추론에서 구조화된 입력 설계의 중요성을 제시한다.