Human-AI interrater reliability in the evaluation of teaching demonstration videos

이 연구는 AI를 활용한 수업 영상 분석의 신뢰성과 타당성을 검증하기 위해 초등 임용 2차 수업실연 영상을 대상으로 인간 교사와 AI의 평가 합치도를 비교 분석했다. 연구 참여자로 6명의 현직 교사가 참여하였다. AI 모델로는 Gemini 2.5 Pro를 활용하여 3회 반복 평가를 수행했다. 평가 도구로는 ICALT 32개 문항을 활용했고, 최종 19개 문항이 분석에 활용되었다. 평정자 간 합치도 분석을 위해 급내상관계수(ICC)를 활용했다. 연구 결과, 인간 교사 6인의 평가 합치도(ICC=.56)와 AI 3회 반복 평가의 합치도(ICC=.53)는 모두 보통 수준으로 나타났으나, 인간 평균과 AI 평균 간 합치도(ICC=.25)는 낮은 수준이었다. 특히, 영역별로 인간과 AI의 평가 경향이 상이하게 나타났다. 이는 인간이 맥락적·비언어적 정보를 종합적으로 고려하는 반면, AI는 외현적 언어 신호에 주로 의존하기 때문으로 해석된다. 또한, 객관적 합치도가 낮음에도 불구하고, 인간 교사들의 AI 평가 결과에 대한 주관적 동의도는 4.06점으로 높게 나타났다. 이는, 통계적 일치도와 지각적 일치도가 분리될 수 있음을 시사한다. 본 연구는 AI가 수업 분석에서 인간 전문가를 대체하기보다는 보조적 도구로서 상호보완적 역할을 수행할 수 있음을 시사한다. 본 연구는 교육 현장에서 AI를 활용한 수업 개선 시스템 개발을 위한 탐색적 기초 연구로서의 의의를 지닌다.