An Experimental Study on the Text Generation Capability for Chart Image Descriptions in Korean SLLM

본 연구는 차트 이미지에서의 정보를 자동으로 생성하고 해석하는 데 있어 소형 거대 언어 모델(소형 거대 언어 모델)의 활용 가능성을 탐구하였다. 이를 위하여 차트 이미지로부터 텍스트 데이터를 생성하고 이에 대한 설명 데이터를 추가하여, 소형 거대 언어 모델 학습을 위한 인스트럭션 데이터셋을 구축하였다. 공개된 한국어 소형 거대 언어 모델을 대상으로 인스트럭션 튜닝을 진행하였으며, 해당 소형 거대 언어 모델에 대한 차트 이미지로 부터의 정보 추출 가능성을 실험하였다. 실험 결과, 구축된 인스트럭션 데이터셋을 통해 미세 조정된 소형 거대 언어 모델은 OpenAI의 gpt-4o-mini API와 유사한 수준에서의 설명 텍스트 생성이 가능한 것으로 나타났다. 본 연구를 통해 향후 한국어 소형 거대 언어 모델이 더욱 다양한 범위의 시각적 데이터를 대상으로 설명 텍스트 및 정보 제공에 사용될 수 있을 것으로 기대한다.