Study on Vector Space Compression through Residual Quantization of Text Embedding Vectors

본 연구는 텍스트 임베딩 벡터의 크기를 잔차 양자화(residual quantization) 기법을 통해 축소하고, 저장 공간을 효율적으로 활용하는 방법을 제안한다. 텍스트 임베딩 벡터는 자연어 처리(NLP) 및 정보 검색 작업에서 중요한 역할을 하며, 특히 LLM(Large Language Model)에서의 환각 현상을 완화하기 위한 RAG(Retrieval-Augmented Generation) 방식에서 적극적으로 활용되고 있다. 그러나 임베딩 벡터의 크기가 원천 데이터보다 더 많은 저장 공간을 필요로 함에 따라, 저장 비용이 증가 되고 있다. 본 연구에서는 잔차 양자화 기법을 활용하여 텍스트 임베딩 벡터를 압축하는 방법을 제안하며, 이를 검증하기 위해 12개의 임베딩 모델을 선정하고 유사 텍스트 데이터 및 질의응답 데이터를 사용하여 실험을 진행하였다. 실험 결과, 잔차 양자화를 적용한 임베딩 벡터는 평균 0.8% 수준으로 저장 공간이 감소됐으며, 유사 텍스트 데이터의 유사도 비교 실험에서는 유사도의 손실율이 평균 3.6%로 확인되었다. 또한, 질의응답 데이터에서는 양자화된 벡터를 활용했을 때 정확도(Precision@1)가 평균 26% 향상된 효과를 확인했다. 본 연구에서는 임베딩 벡터의 저장 비용을 절감할 수 있는 방법을 제안했고, 질의 응답 태스크에서 성능을 향상시켰다. 제안한 방법은 큰 차원의 벡터 표현을 다루는 분야에서도 활용할 수 있을 것으로 기대된다.