A RAG-Based Chatbot System for Delivering Infectious Disease Information

본 연구는 검색증강생성(RAG) 기반 감염병 정보 제공용 챗봇을 개발하고, RAGAS 프레임워크를 활용해 응답 품질을 정량적으로 평가하였다. 감염병 지침 정보를 ‘예방’, ‘임상’, ‘신고 절차’ 등 주제별로 재구성하고, 응답과 함께 검색된 문맥(context)를 제공함으로써 응답 근거의 투명성과 검증 가능성을 강화하였다. 모델 평가는 RAGAS의 answer relevancy와 faithfulness 지표를 사용하여 수행하였으며, 총 697개 질문–응답 쌍을 대상으로 실험을 진행하였다. 그 결과 평균 answer relevancy는 0.7317, faithfulness는 0.7904로 나타났다. 응답이 질문의 의도에 부합하면서도 근거 문서에 충실함을 확인하였다. 또한 동일한 언어모델과 프롬프트 조건에서 RAG 구조를 적용한 모델과 적용하지 않은 모델을 비교하여, Wilcoxon의 부호순위 검정과 부트스트랩 기반 신뢰구간 추정을 통해 성능 차이의 통계적 유효성을 검증하였다. 검증 결과 양측 모두 유효한 것으로 확인되었으며, RAG 구조를 적용한 모델과 적용하지 않은 두 집단 간의 차이가 통계적으로 유효하다고 해석할 수 있다. 따라서 본 연구를 통해 RAG 기반 챗봇이 감염병 정보 제공의 신뢰성과 투명성을 향상시킬 수 있음을 시사한다.