Factuality Evaluation System for Korean Generated Documents and Case Study

본 논문은 한국어 생성 문서의 사실성을 평가할 수 있는 프레임워크를 제시한다. 최근 대규모 언어모델들이 공개되면서 환각 현상을 통한 거짓 정보 생성 가능성이 증가함에 따라, 생성 문서의 정밀한 사실성 평가가 중요한 과제로 떠오르고 있다. 이를 위해 대상의 문화권과 인기도를 고려한 한국어 평가셋을 구축하였다. 또한, 사실성 평가 대상과 비대상의 구분할 수 있는 코어 원소 사실 문장 선별 모듈을 포함한 한국어 문서의 사실성 평가 소프트웨어를 개발하였다. 실험을 통해 제안된 프레임워크의 유효성을 정량적으로 확인하였고, 문서 생성에 사용된 언어모델 별 사실성 성능과 평가 대상의 특성(문화권 및 인기도)에 따른 성능 차이를 비교 분석하였다.․