ToR-RAG: A Tree-of-Retrieval-based Retrieval-Augmented Generation for Complex Question Processing

대규모 언어모델(LLMs)은 자연어 이해 능력을 크게 발전시켰으나, 다수 문서에 분산된 근거를 통합해야 하는 복합 멀티홉 질의 처리에서는 한계를 보인다. 기존 검색증강생성(RAG)은 선형 파이프라인을 채택하여 오류 전파, 근거 불충분, 신뢰성 저하 문제가 발생한다. 이를 해결하기 위해 본 연구는 Tree-of-Retrieval 기반 RAG(ToR-RAG)를 제안한다. ToR-RAG는 LLM 프롬프트를 통해 질의를 이진 하위 질의로 분해하고, 각 분기에서 검색 및 부분 응답 생성을 수행한 후, LLM-as-a-Judge 모듈로 품질을 평가한다. 기준 이하의 분기는 가지치기를 통해 효율성을 확보한다. 검색 단계에서는 MMR 기반 전략(λ=0.75, top-k=5)을 적용하여 관련성과 다양성을 균형 있게 확보하였다. MultiHop-RAG 데이터셋 실험 결과, ToR-RAG는 Non-RAG, Native-RAG, CoR-RAG 대비 Exact Match +6.42, F1 +6.04의 성능 향상을 보였다. 특히 깊이(Depth)=3에서 최적 성능을 기록했으며, Depth=4에서는 과도한 분기와 토큰 사용으로 성능이 저하되었다. 이러한 결과는 ToR-RAG가 멀티홉 추론에서 정확성과 신뢰성을 동시에 강화함을 보여주며, 정책 분석, 의료 의사결정, 금융 리스크 평가 등 다양한 응용 분야에서 활용 가능성을 제시한다.