Emotion-aware Multimodal Music Recommendation via Semantic Image-audio Alignment

본 논문에서는 이미지와 음악 간의 의미적·감정적 관계를 활용한 이미지 기반 음악 추천 시스템을 제안한다. 기존의 음악 추천 방식은 주로 사용자의 과거 청취 이력이나 명시적인 텍스트 질의에 의존해 왔으나, 이는 사용자가 처한 즉각적인 상황적 맥락이나 미묘한 감정 상태를 실시간으로 반영하는 데 한계가 있다. 이러한 문제를 해결하기 위해, 본 연구는 사용자의 맥락을 직관적으로 내포하는 이미지를 입력으로 활용하고, 이미지에서 추출된 시각·감정 정보를 텍스트로 변환하여 CLAP 기반 음악 임베딩 공간과 연계하는 간접적 정렬(Indirect Alignment) 구조를 제안한다. 제안 시스템의 효용성을 검증하기 위해 이미지-텍스트 모델의 서로 다른 텍스트 생성 전략을 적용한 세 가지 프로토타입 모델을 설계하고, 기존 오디오 특징 기반 모델 및 텍스트 기반 검색 방식과의 비교를 통해 추천 성능을 분석하였다. 특히 각 모듈이 해결하고자 하는 문제(도메인 격차 해소 및 핵심 맥락 요약)를 정의하고 이에 따른 기여도를 분석하는 Ablation Study를 수행하였다. 실험 결과, 단순히 시각적 정보의 상세도를 높이는 것보다 이미지의 감정 정보를 명시적으로 추출하여 결합하는 것이 추천 결과의 편향을 완화하고, 사용자의 주관적 감성 일치도 면에서 기존 방식보다 더욱 균형 잡힌 성능을 보임을 확인하였다. 본 연구는 멀티모달 모델 간의 효율적인 연계를 통해 이미지 기반 음악 추천의 실질적 가능성을 검증하였으며, 향후 고도화된 사용자 맥락 인식 시스템 연구의 기초 자료로 활용될 것으로 기대된다.