Meta-analysis of learning effectiveness using generative AI

본 연구는 국내에서 수행된 생성형 AI 활용 학습의 효과를 체계적이고 종합적으로 검토하고, 교육 분야 생성형 AI 활용을 위한 제언을 하고자 체계적 문헌 고찰과 메타분석을 실시하였다. PRISMA의 메타분석 가이드라인에 따라 최종 24편의 문헌을 분석 대상으로 선정하였으며, 생성형 AI 활용 학습과 관련된 사전/사후, 통제/처치, 상관분석 연구로 구분하여 효과 크기 산출을 위한 코딩을 진행하였다. 연구 결과, 사전/사후 연구의 경우 무선 효과모형에서 효과 크기가 0.7646으로 중간 이상의 효과 크기를 보이는 것으로 나타났다. 통제/처치 설계 연구의 경우, 고정 효과모형에서 0.4262의 중간 정도의 효과 크기를 확인하였으며, 상관관계 연구의 경우 무선 효과모형에서 전체 효과 크기가 0.5417로 중간정도의 효과 크기를 확인하였다. 사전/사후 설계 연구의 경우 생성형 AI 유형 및 학습자 유형과 같은 조절 변인에 따라 세부 효과 크기를 추가적으로 확인하였다. 그 결과, 생성형 AI 유형(텍스트 기반, 복합 생성)에 따라 텍스트 기반 생성(0.5859)에서 보다 이미지 등을 복합적으로 생성하는 경우에 더 큰 학습 효과(0.8627)를 보였다. 다음으로 학습자 유형(학령기, 성인기)에 따라서는 학령기(0.6400)보다 성인기(1.0265)에서 더 큰 학습 효과를 보였다. 이를 토대로 본 연구 결과 국내에서 수행된 생성형 AI 활용 학습의 효과를 체계적으로 검증하였으며, 향후 생성형 AI의 교육적 활용을 위한 근거 기반 실천(Evidence-based practice)을 제공하고, AI 활용 교육의 방향성을 설정하기 위한 기초자료와 시사점을 제공할 수 있다.