Improving Language Model Quality through LLM-based Fine-Grained Hallucinated Summary Generation

텍스트 요약 과제에서 LLM(Large Language Model)을 활용할 때, 원본 문서와 요약문 사이에 사실적으로 불일치하는 환각(Hallucination) 문제가 발생한다. 이를 해결하기 위해, 본 연구에서는 환각 수준을 조절할 수 있는 부정적 요약문을 생성하는 새로운 데이터 증강 기법과 이를 위한 언어 모델의 미세 조정 방법을 제안한다. 1만개 문서와 정답 요약문에서 세 가지로 환각 수준을 세분화한 부정적 요약문을 생성하여 총 4만개의 요약문으로 데이터를 증강한 후, 모델이 환각과 사실을 더 효과적으로 구분할 수 있도록 학습시킨다. CNNDM 데이터셋을 활용한 실험 결과, 정량화된 환각 수준을 포함한 부정적 데이터를 사용한 이 접근 방식은 생성된 요약문의 성능을 ROUGE 지표 기준 평균 7.3% 향상시키고, G-Eval 지표 기준 평균 6.3% 향상시켜 증강 데이터를 사용하지 않은 모델보다 뛰어난 성능을 보인다.