Development of an AI-Generated Formative Assessment Prompt for Military Moral Strength and Political Education and Item Analysis

본 연구는 주간 정신전력교육에 형성평가가 부재하고 또한 필요하다는 인식에서 출발하였다. 그런데 교육 진행 교관이나 정훈장교가 매주 형성평가 문항을 직접 제작한다는 것은 현실적으로 어려우므로, 교육 현장에서 쉽게 활용할 수 있도록 문항을 자동으로 출제하고 정답·오답 해설까지 제공하는, Novice’s Checklist 방식이라 명명한 생성형 AI 프롬프트를 우선 개발하였다. 그리고 이 프롬프트에 기초하여 생성된 문항들이 질적으로 양호한지 인간 출제 비교 실험을 통해 검토했다. 오답의 전반적인 매력 차원과 교육적 의미와 중요성 차원에 있어서는 부족하지 않았지만, 사실에 관한 결함이나 논쟁 차원에 있어서는 AI 출제가 인간 출제에 비해 부족함을 확인하였다. 다음으로, 생성된 문항들의 측정학적 특성은 어떠한지 KR20 및 IRT 분석을 통해 검토했다. 신뢰도는 문항 수를 감안하면 수용 가능한 수준으로 나타났고, 전반적으로 난이도는 쉽고 변별도는 높은 것으로 나타났다. 끝으로, 생성된 문항들이 수업 중에 가르치고 배운 내용과 의미 있게 관련된다고 할 수 있는지 참석/불참 집단 정답률 차이 검정을 통해 검토했다. 참석 집단이 불참 집단보다 정답률이 높다고 할 수 있다는 상식적이고 당연한 결과를 얻어 형성평가로서의 중대한 결함은 없음을 확인하였다.