Comparative Study of Compression Techniques for Text Embedding Spaces

본 논문은 텍스트 임베딩 모델이 생성하는 벡터 공간의 압축 효과를 비교·분석하였다. 최근 각광받는 검색 증강 생성(RAG) 구조에서는 임베딩 모델이 외부 지식을 검색하여 LLM의 응답 품질을 향상시키는 핵심 역할을 한다. 또한, 생성된 답변을 사전 저장하고 유사 질의에 재활용하는 데도 임베딩이 활용된다. 하지만 벡터 크기가 커질수록 저장 부담이 증가하고, 특히 응답 벡터를 사전 계산해 저장할 경우 효율적 압축이 필수적이다. 이에 본 연구는 고정 길이 벡터를 생성하는 기본 모델과 함께 차원 축소 기법 및 매트료시카 임베딩을 적용하여 압축 성능을 비교하였다. 실험은 HotpotQA, WikiQA, MS MARCO 데이터셋을 기반으로 수행되었으며, 각 기법이 검색 성능을 유지하면서 얼마나 벡터 크기를 줄일 수 있는지 평가하였다. 그 결과, 성능 저하를 평균 0.35% 이내로 억제하면서 최소 2배, 최대 4배의 압축 효과를 달성하였다.