Parameter-Efficient Fine-Tuning for Developing Domain-Specific Language Models for Artwork Data

본 논문은 예술 작품 데이터에 특화된 언어모델 개발을 목표로 한다. 기존 언어모델의 도메인 한계를 극복하고 구조화된 출력 형식을 지원하기 위해, 파라미터 효율적 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법을 적용하여 데이터 전처리 및 모델 튜닝을 수행하였다. 또한, 적절한 기반 모델을 선정하기 위해 다양한 상용 및 오픈소스 언어모델의 성능을 비교하고, 훈련 데이터셋의 형식이 출력의 품질에 미치는 영향을 분석하였다. 실험 결과, Llama 3.1 기반의 Instruct 모델에 마크다운 형식의 데이터셋을 적용하여 훈련했을 때 가장 우수한 성능을 보였지만 파인튜닝만으로는 도메인 특화 언어모델 개발에 한계가 있음을 확인할 수 있었다.