Fine-Tuning On-Device LLMs for Socratic Question Generation and Performance Evaluation

본 연구는 생성형 인공지능의 교육적 활용 가능성을 모색하기 위해, 소크라테스식 문답법 기반의 질의응답 데이터셋(SocratiQ)의 한 국어 번역본을 활용하여 경량 온디바이스 대형언어모델(LLM) 두 종류(Gemma 1B, LLaMA 1B)에 대해 LoRA 방식의 파인튜닝을 수 행하고 그 성능을 비교하였다. 실험 결과, 두 모델 모두 BERTScore 기준 약 0.75 수준의 의미 유사도를 달성하였으며, Gemma 1B는 질문 표현의 정교성과 일관성 측면에서 우수한 성과를 보였다. 반면 LLaMA 1B는 평균 1초 미만의 추론 시간을 기록하여 실시간 응답 에 더 적합한 효율성을 나타냈다. 또한 일부 사례 분석을 통해 두 모델이 문맥에 따른 다양한 소크라테스식 질문 유형을 생성할 수 있음 을 확인하였다. 본 연구는 온디바이스 환경에서도 교육용 LLM이 실질적 질문 생성 도구로 활용될 수 있음을 실증적으로 제시하며, 향 후 경량 AI 기반의 자기주도 학습 지원 시스템 설계에 유의미한 기초 자료를 제공한다.