A study on the Impact of Noise in Financial Domain RAG Systems: Focusing on Token Count Ratios

본 연구는 금융 RAG(Retrieval-Augmented Generation) 시스템에서 검색 결과에 의도적으로 추가된 노이즈 문서가 시스템 성능에 미치는 영향을 실증적으로 분석하였다. 선행 연구에서 제기된 노이즈의 긍정적 효과가, 실제 금융 전문가의 모호한 질의와 정량적 추론을 반영한 FINDER 데이터셋 환경에서도 유효한지 확인하는 것을 목표로 한다. 검색 과정에서는 FINDER 데이터셋과 S&P 500 기업의 10-K 보고서를 활용하였으며, 질의의 모호성을 완화하기 위해 메타데이터 필터링을 적용하였다. 필터링된 검색 문서에 AG_NEWS 데이터셋의 스포츠 분야 기사를 추가하여 실험을 진행하였으며, 노이즈 문서의 양은 컨텍스트 내 검색문서와의 비율에 따라 구성하였다. FINDER 데이터셋과 동일하게 RAGAs framework의 Faithfulness와 Correctness 지표로 성능을 평가하였다. 실험 결과, RAG 시스템에서 성능 하락은 노이즈 문서의 영향이 아닌 총 토큰 수에 의해 결정되며, 검색 문서 수와 노이즈 비율이 증가할 때 Faithfulness는 하락하고, Correctness는 상승하는 경향을 확인하였다. 성능 하락은 약 2600 토큰에서 임계점이 존재하며, 이 임계점 이하 구간에서는 검색 문서로만 컨텍스트를 구성하는 것 보다 검색 문서 토큰 수의 약 10~20%의 노이즈 문서를 추가하는 것이 더 우수한 성능을 보임을 확인하였다. 본 연구는 RAG 시스템 설계 시 Faithfulness 유지를 위해 총 토큰 수를 임계점 이하로 관리하는 것이 필수적이며, 임계점 이하에서는 노이즈 문서의 활용이 RAG 시스템 성능 향상에 기여할 수 있음을 시사한다.