Contextual Compression with Attention: Enhancing Input Efficiency for Long-Contexts in Retrieval-Augmented Generation

검색증강생성(RAG)은 질의와 관련된 외부 지식을 언어 모델의 입력으로 사용하여 거대 언어 모델(LLM)의 환각 문제를 해결하고자 고안된 방법이다. 하지만 LLM은 추론 속도가 느리고 입력된 문서의 길이에 따라 모델의 연산량이 증가하므로 대규모 문서를 처리하는데 한계가 있다. 본 연구는 이러한 문제점을 극복하기 위해, LLM의 입력 효율성을 개선하는 ‘어텐션 기반 문맥 압축(Contextual Compression with Attention)’ 기법을 제안한다. CoCoA는 어텐션 스코어를 기반으로 문서 내 단어의 중요도를 평가하고, 가장 중요한 단어들만 사용하여 문맥을 압축한다. 또한, 단어 단위로 문맥을 압축하는 방식을 통해 어휘가 서로 다른 언어 모델을 압축 모델로 사용할 수 있고, BERT 모델과 같은 소형 언어 모델로 문맥을 압축함으로써 연산 속도와 연산량을 크게 절감할 수 있다. 본 연구는 연산 효율성을 개선하면서도 성능 저하를 최소화하였고, 문맥 압축 모델의 연산량을 단축함으로써 추론 속도를 크게 개선했다는 점에서 의의가 있다.