A Hierarchical Utterance Generation Method for Mitigating Topic-Shift Hallucinations in Dialogue Systems

LLM은 다양한 언어 기반 작업에서 뛰어난 성능을 보였지만, 대화형 시스템에서는 여전히 대화 흐름과 주제 일관성을 유지하지 못하는 주제 전환 환각 문제가 발생한다. 이를 해결하기 위해 여러 방법론이 제안되었으나, 대화 맥락을 반영하여 일관성을 유지하는 데에는 여전히 한계가 존재한다. 따라서 본 논문에서는 계층적 발화 생성 접근법을 제안하여 주제 전환 환각 완화를 목표로 하였으며, 기존 방법론들과 비교하여 응답 품질과 맥락적 일관성을 평가하였다. 실험 결과, GPT-4o 기반 자동 평가에서 제안방법은 Gemma, Llama, Qwen 계열의 7개 모델 모두에서 기존 방법론보다 높은 MRR을 기록하였다. 모델 계열별로 기존 최고 성능 대비 Gemma 계열은 약 2.7∼5.1%, Llama 계열은 약 22.2∼38.1%, Qwen2.5계열은 약 11.1∼17.9%의 성능 향상을 보였다. 인간 평가에서도 제안 방법은 모든 모델에서 가장 높은 평균 MRR을 기록하였으며, Kendall’s W 계수 0.825를 통해 평가자 간 높은 일관성을 확인하였다.