Exploring an Activity Theory–Based Evaluation Model for the Educational Effectiveness of AI-Based Learning Applications

AI 기반 학습 어플리케이션의 교육적 효과를 종합적으로 평가하기 위해서는 학습 결과뿐 아니라 학습 과정에 대한 이해가 함께 요구된다. 그러나 기존 평가는 주로 학습 결과에 초점을 두어, 어플리케이션이 학습 활동의 전개와 구조에 어떠한 방식으로 관여하는지를 평가의 범위와 기준으로 체계화하는 데 한계가 있었다. 이에 본 연구는 활동이론을 토대로 AI 기반 학습 어플리케이션의 교육적 효과 평가 모형을 탐색적으로 제안하고, 이를 실제 사례에 적용하여 적용 가능성을 검토하였다. 이를 위해 문헌 검토를 통해 평가 모형 초안을 도출한 뒤, 전문가 검토를 통한 내적 타당화를 거쳐 학습 활동 분석, 평가 설계 및 평가 근거 마련, 평가 결과 도출 및 활용의 3단계와 7개 전략, 17개 지침으로 구성된 평가 모형을 제안하였다. 또한 제안한 모형을 AI 기반 영어 학습 어플리케이션 평가에 적용한 결과, 해당 모형이 실제 사례에서 평가 절차로 적용 가능하며, 어플리케이션의 교육적 효과를 학습 활동의 조직 방식과 연계하여 분석할 수 있음을 확인하였다. 본 연구는 AI 기반 학습 어플리케이션의 교육적 효과 평가를 결과 중심 접근에 한정된 기존 관점에서 확장하여, 학습 과정과 활동 구조를 포함하는 평가 관점을 이론적·방법론적으로 정교화했다는 점에서 의의를 지닌다.