Reliability and Limitations of GPT-Based Automated Evaluation of Creative Writing

본 연구는 생성형 인공지능이 생성한 텍스트에 대한 자동 평가에서, 점수 산출뿐 아니라 평가 근거 설명의 정합성에 초점을 맞추어 대형 언어 모델의 평가 신뢰성과 한계를 실증적으로 검토하고자 하였다. GPT-4로 생성된 창의적 글쓰기 텍스트 100편을 대상으로, GPT-4o와 GPT-3.5의 자동 평가 결과를 인간 전문가 평가와 비교하였다. 문법성과 흥미성을 기준으로 평균 점수, 점수 분포, 평가자 간 일치도, 정합성을 분석하였다. 분석 결과, 두 LLM은 전반적으로 인간보다 높은 점수를 부여하는 경향이 있었으며, 문법성에서는 4점 집중 경향이 두드러졌고 흥미성에서는 비교적 인간이 더 고르게 점수를 부여하였다. 정합성 분석에서는 문법성 평가에서 비교적 일관된 근거 설명이 관찰된 반면, 흥미성에서는 점수와 설명 간의 정합성이 낮게 나타났다. 이러한 결과는 LLM이 문법성과 같은 객관적 기준에서는 일정 수준의 신뢰성을 보이나, 흥미성과 같이 주관적 해석이 요구되는 영역에서는 여전히 인간 전문가의 개입이 필요함을 시사한다.