A Comparative Study of AI-Based Writing Assessment Tools and Human Evaluators - Focusing on book report texts -

본 연구는 인공지능을 활용한 글쓰기 평가 프로그램이 교사를 대신하여 교육현장에서 쓰기 평가 도구로 활용할 수 있는지에 관한 가능성을 알아보고, 인공지능을 활용하여 쓰기 평가를 위해 필요한 채점 기준을 찾아보는 데 목적이 있다. 이를 위하여 독후감 경연대회에 출품한 854편의 독후감을 대상으로 자동 채점도구 KEEwi를 사용하여, 6가지 평가 기준과 최종적인 종합 점수로 글쓰기를 평가하였다. 평가 후 각 항목 간 관계성 확인을 위해 상관 행렬을 확인하였다.분석 결과 인공지능 평가의 종합점수 분포가 종형 곡선(bell curve)의 정규분포를 따르는 것으로 나타나 인공지능의 글쓰기 평가능력이 평가 항목에 따라 자체적으로 합리성을 갖추고 있는 것을 알 수 있었다. 그러나 심사위원이 좋은 글로 평가한 ‘수상작’을 비교한 결과 인공지능 평가와 일치하지는 않았다. 하지만 인간이 평가한 수상작의 77%가 인공지능 평가 점수의 중간값을 기준으로 오른쪽 구간에서 더 많이 나타나 전체적인 쓰기 평가 경향을 살펴볼 때 인공지능과 인간 평가에 유사성이 있는 것으로 파악되었다.이와 같은 분석 결과를 통해 인공지능 자동 채점을 위해 필요한 교육적 논의로 장르적 특성을 고려한 평가 기준 마련과 학습자 수준 등 변인에 따른 쓰기평가 기준이 개발의 필요성을 들었다. 글쓰기 평가자와 인공지능 쓰기 평가 도구를 비교하여 그 결과를 분석했다는 데 그 의의가 있다.