Construction of a Korean Knowledge Conflict Dataset and Analysis of LLMs' Decision-Making Tendencies

최근 거대 언어 모델(LLMs)들은 다양한 자연어 처리 작업에서 우수한 성능을 보여주었지만, 내재 지식과 외부 지식이 충돌하는 상황에서는 불안정한 의사 결정 경향을 보인다. 이에 본 논문은 한국어 기반 환경에서 LLM의 지식 충돌 상황에 대한 의사 결정 경향을 분석하고자, 한국어 지식 충돌 평가 데이터셋인 KoConQA를 구축하고, 이를 활용하여 오픈소스 LLM을 대상으로 실험을 수행하였다. 실험 결과, Zero-shot과 Few-shot 환경 모두에서 LLM은 내재 지식보다 외부 문맥에 더 강하게 의존하는 경향을 보였으며, 오답 정보를 포함한 문맥에도 쉽게 영향을 받았다. 이러한 결과는 한국어 기반 환경에서 LLM은 지식 활용이 외부 문맥에 편향될 수 있음을 보여주며, 내재 지식과 외부 지식의 균형적 통합을 위한 향후 연구의 필요성을 시사한다.