Implementation of a Smart Lecture Video Generation System Using Open Source AI

본 연구에서는 대학 강의자료를 기반으로 강의 영상을 생성하는 오픈소스 AI 기반 강의 영상제작 시스템을 제안한다. 제안 시스템은 LLM과 RAG를 중심으로, 강의 대본 생성, TTS 기반 음성 합성, 디지털 휴먼 립싱크 영상 합성의 과정을 통합하여 End-to-End 방식으로 강의 영상을 생성한다. 이를 위해 국내 대학의 특정 교과목으로부터 강의자료를 수집하여 지식베이스를 구축한다. 구축된 지식베이스를 기반으로 LangChain 프레임워크를 이용해 HyperCLOVA X SEED 3B와 RAG를 연계하여, 교수자의 요구에 적합한 강의 대본을 생성한다. 생성된 대본은 GPT-SoVITS에 입력되며, TTS 음성 합성과 디지털 휴먼 립싱크 합성 과정을 통해 최종적으로, 현실감 있는 강의영상이 제작된다. 제안 시스템은 RAG를 연계하여 LLM 단독 모델 대비 BERTScore 5.6%, ROUGE-L 3.3%, BLEU 3.6% 향상된 성능을 보였다. 이는 제안 시스템의 RAG 구조가 외부 지식베이스의 정의문과 예시문을 참조하여 모델의 사실적 정확성과 논리적 일관성을 향상시켰음을 의미한다. 본 연구는 별도의 파인튜닝 없이 RAG 기반 접근만으로 교육용 LLM의 실질적 활용 가능성을 입증하였으며, 향후 AI 기반 스마트 교육 플랫폼 구축의 핵심 기술적 기반을 제공한다.