A Benchmark Dataset for Retrieval-Augmented Generation Considering Performance Alignment between Retrieval and Generation

검색 증강 생성은 외부 데이터베이스로부터 문서를 검색하는 검색 단계와 검색한 문서를 바탕으로 언어 모델이 답변을 생성하는 생성 단계로 이루어진다. 이때 평가는 검색과 생성 두 단계에 대해 이루어지며, 기존 연구는 두 단계가 분리되어 개별적으로 평가하고 성능을 높이는 것에 집중한다. 그러나 검색 증강 생성의 전체적인 성능을 정확하게 평가하기 위해서는 검색 성능이 최종적으로 생성 품질로 이어지는지 고려하는 것이 필수적이다. 본 논문에서는 기존 검색 데이터셋과 생성 데이터셋을 통합하여 파이프라인을 평가했을 때, 검색 성능과 생성 성능의 정렬성이 부족함을 밝혀낸다. 불완전한 기존 정보 검색 데이터셋에서 간과된 정답 문서들을 선별하여 확장하고, 부정확한 생성 평가지표의 한계를 보완하는 LLM 기반 평가 도입을 통해 검색 성능과 생성 성능이 정렬되어 평가되는 검색 증강 생성 벤치마크 데이터셋을 구축한다.