Asymmetric Soft Prompt–RAG Interactions in Liquid vs. Transformer Lightweight LLMs: An Empirical Study on SBA Policy QA

본 연구는 경량 대규모 언어모델 환경에서 검색 증강 생성(RAG)과 소프트 프롬프트 튜닝이 성능과 효율성에 미치는 결합 효과를 분석한다. SBA 정책 질의응답 벤치마크를 활용하여, 정밀도 설정, RAG 방식, 소프트 프롬프트 적용 여부를 포함한 총 18개의 실험 구성 하에서 Liquid 기반 모델과 Transformer 기반 모델을 비교하였다. 분석 결과, 소프트 프롬프트의 효과는 모델 아키텍처에 따라 상이하게 나타났다. Liquid 모델에서는 응답 품질과 지연시간 안정성이 동시에 개선된 반면, Transformer 모델에서는 품질과 효율성 간의 뚜렷한 상충관계가 확인되었다. 또한 범주별 분석을 통해 수치 및 기준 기반 질문 유형이 지속적인 성능 병목 요인으로 나타났으며, 이는 경량 LLM 실무 적용을 위한 정규화 중심 개선의 필요성을 시사한다.