Design and Performance Analysis of Multimodal RAG Question-Answering Model for Domain-Specific PDF Documents

현대 산업 환경에서 PDF 형태의 기술문서가 대용량화되고 복잡해짐에 따라 효율적인 정보검색 및 활용 방법에 대한 필요성이 증가하고 있다. 기존의 키워드 기반 검색 방식은 사용자 의도 파악과 맥락기반 응답 생성에 한계가 있으며, 특히 텍스트와 이미지가 혼재된 기술문서에서는 통합적 정보 처리가 어려운 문제가 있다.<br/> 이러한 문제를 해결하기 위해 특화 도메인 PDF 기반 멀티모달 RAG (Retrieval-Augmented Generation) 질의응답 모델을 제안한다. 차량 정비 매뉴얼을 대상으로 텍스트-이미지 통합 데이터셋을 구축하고, 의미 유사도 기반 검색기와 LoRA 기반 파인튜닝된 생성기를 결합한 멀티모달 RAG 아키텍처를 설계하였다.<br/> 성능 평가 결과, 제안 모델은 기존 RAG 모델 대비 BERTScore 3.0%p, 코사인 유사도 3.0%p, ROUGE-L 18.0%p의 향상을 보였으며, 20명의 사용자 평가에서 평균 4.4점(5점 만점)의 만족도를 기록하였다. 특히 멀티모달 응답 제공을 통해 사용자의 정보 이해도 및 활용도가 유의미하게 개선되었음을 확인하였다.<br/> 연구 결과는 차량 정비 매뉴얼과 유사한 구조적 특성을 갖춘 기술문서(단계별 절차, 이미지-텍스트 매핑 구조)에 적용 가능하며, 향후 다양한 산업 분야로의 확장 가능성을 제시한다.