Global-Local Multi-Vector Fusion for Visual Text Retrieval

멀티모달 정보의 활용이 확대되면서, 텍스트와 이미지가 혼합된 복합 문서에서 정확한 정보 검색을 수행할 수 있는 모델에 대한 수요가 점차 증가하고 있다. 본 논문에서는 멀티벡터 기반 이미지-텍스트 표현 구조를 확장하여, 시퀀스 전체의 문맥 정보를 효과적으로 반영하는 WGF(Weighted Global Fusion) 방법을 제안한다. 기존 표현력을 유지하면서 시퀀스 문맥 정보를 효과적으로 반영한 점이 본 연구의 주요 특징이다. 제안하는 방법은 self-attention을 통해 시퀀스 내 각 토큰의 상대적 중요도를 계산하고, 이를 기반으로 전체 시퀀스를 대표하는 글로벌 임베딩을 생성한 뒤, 기존 토큰 임베딩과 선형적으로 융합하였다. 실제 업무 환경에서 수집한 멀티모달 문서 컬렉션을 기반으로 실험한 결과, 베이스라인 대비 Top-1 정확도가 약 25% 향상되었다.