Development of a generative AI chatbot to support ill-structured problem-solving through scaffolding

본 연구는 학습자들의 비구화된 문제 해결 과정을 지원하기 위해 스캐폴딩을 제공하는 생성형 AI 챗봇 ‘Probot’을 개발하고 사용성 평가를 실시하였다. 첫 번째 단계로는 선행연구 수집 및 검토를 통해 각 비구조화된 문제 해결 과정에서의 개념적 및 메타인지적 스캐폴딩을 설계한 후 전문가 타당도 검증을 진행하였다. 두 번째 단계로는 최종적으로 도출된 스캐폴딩 설계안을 기반으로 프롬프트 엔지니어링을 실시하여 개발한 Probot에 대한 사용성 평가를 진행하였다. 사용성 평가에서는 10명의 학습자들을 대상으로 Probot을 활용하여 비구조화된 문제를 해결할 수 있도록 하였으며, 이후 학습자 인식을 측정하기 위한 설문조사와 인터뷰를 진행하였다. 수집된 설문조사 결과는 기술통계를 진행하였으며, 인터뷰는 주제분석을 실시하였다. 본 연구의 주요 결과는 다음과 같다. 첫째, 문제 표상 및 문제해결안 생성 및 선정 단계에서는 개념적 스캐폴딩과 메타인지적 스캐폴딩 모두 설계되었으며, 문제해결안 정당화는 개념적 스캐폴딩, 문제해결안 검토 및 평가는 메타인지적 스캐폴딩이 설계되었다. 둘째, 설문조사 결과, 학습자들은 전반적으로 Probot에 대해 유용성, 사용 용이성, 지속 사용 의도, 몰입감 측면에서 긍정적으로 인식하였으나, 의인화 측면에서 낮은 인식이 나타난 것을 확인하였다. 셋째, 인터뷰 결과 학습자들이 Probot이 깊은 사고를 촉진하여 문제 해결을 지원했다는 측면을 긍정적으로 인식하는 것으로 나타났다. 넷째, 사용성 평가 결과를 기반으로 의인화 측면을 개선시키기 위한 프롬프트 원칙을 추가하여 최종 개발을 하였다. 본 연구결과를 바탕으로 향후 스캐폴딩 제공 생성형 AI 챗봇 설계와 관련한 시사점을 논의하였다.