A Study on RAG via Data Augmentation Using Context Information

본 연구는 대규모 언어 모델(LLM)의 환각(hallucination) 현상을 극복하고, 답변의 정확성과 신뢰성을 향상시키기 위해 데이터 증강을 활용한 검색 증강 생성(RAG) 프레임워크를 제안한다. 금융 도메인 문서의 문맥(context) 정보를 활용하여 LLM이 질문-답변(QA) 데이터를 생성하고, 이후 생성된 QA 데이터를 문서에 통합하는 방식으로 문서 정보를 확장하여 RAG를 수행한다. 실험에는 GPT, Llama, Mistral, OpenChat 등 다양한 LLM을 활용하여 답변을 생성하였다. 또한 정확성, 관련성, 환각 여부, 품질 등 네 가지 항목에 대해 LLM 기반의 자동 평가와 Welch’s ANOVA, Games-Howell 사후분석을 수행하였다. 실험 결과, 제안 방법은 기존 방법론 대비 가장 높은 평균 점수와 낮은 변동성을 보였다. 특히 품질 지표에서 다른 방법론과 통계적으로 유의한 차이를 보이며, QA 기반 데이터 증강이 문맥 내 의미 연결성을 강화하고 환각 발생률을 줄이는데 효과적임을 확인하였다. 본 연구는 LLM의 일반화 능력을 활용한 QA 데이터 생성만으로도 RAG 성능을 개선할 수 있음을 실증하며, 다양한 도메인에 적용할 수 있는 확장성과 실용성을 지닌 방법론을 제시한다.