Controlling Copyright Infringement Responses in LLMs using LoRA Tuning in Low-Resource Environments

최근 대규모 언어 모델(Large Language Model, LLM)의 활용이 급증함에 따라 저작권 침해 문제에 대한 우려가 커지고 있다. 본 논문에서는 저자원 환경에서 사전 학습된 LLM의 성능을 유지하면서, 저작권 침해 가능성이 있는 응답에 대해서만 선별적으로 거절하도록 훈련하는 것을 목적으로 하였다. 이를 위해 파라미터 효율적 파인 튜닝 기법인 LoRA(Low-Rank Adaptation)를 적용하였으며, 파국적 망각과 모드 붕괴를 방지하기 위해 상식 데이터와 저작권 거절 데이터를 균형 있게 혼합한 한국어 기반의 데이터 셋을 구축하였다. 우리의 제안 모델은 원본 모델인 Trillion-7B와 비교 시, 약 2배 이상의 정확도인 88.67%를 달성하였으며, 불필요한 사족을 줄여 응답 시간을 획기적으로 단축함으로써 제한된 자원으로도 LLM 학습 방법을 통하여 저작권 침해를 효과적으로 방지할 수 있음을 검증하였다.