Proposing Benchmark Datasets for Comprehensive Evaluation and Comparison of LLMs (Large Language Models) : Comparing Open-source LLMs with Closed-source LLMs

2020년 OpenAI가 1,750억 파라미터 규모의 GPT-3를 공개한 이후 간단한 작업부터 복잡한 작업에 이르기까지 다양한 다운스트림 작업에 대응하는 대규모 언어 모델(LLM)의 개발이 가속화되고 있다. LLM이 개발되고 고도화됨에 따라 LLM의 성능을 객관적으로 평가할 수 있는 평가 지표와 데이터셋이 개발되어 활용되고 있다. 이러한 데이터셋은 다양한 분야에 대해 LLM을 객관적으로 평가함에 있어 좋은 성과를 거두었으나, 규모 측면에서 개인이나 소규모 기관에서 활용하기 어렵고 실용적 측면에서 실제 사용자가 체감하는 바와 다소의 괴리를 가지고 있다. 이에 본 연구에서는 사용자의 활용 패턴을 반영하여 비교적 작은 양의 데이터를 활용해 LLM을 평가할 수 있는 평가 지표 및 데이터셋을 제시한다. 더 나아가, 가중치를 일반에 공개하는 공개형 대규모 언어 모델의 개발이 가속화되고 고성능의 공개형 LLM이 출시되고 있음에 따라 연구 수행 시점인 2024년 4월 기준 최신의 폐쇄형 LLM 4종과 공개형 LLM 6종에 대한 평가를 시행하고 폐쇄형 LLM과 공개형 LLM의 비교 평가 결과에 대해 논의한다. 연구 결과 새롭게 개발한 데이터셋이 작은 규모에도 불구하고 기존 데이터셋과 유사한 경향성을 보이는 것으로 나타났다. 상식 추론 및 글 스타일 변환과 같은 간단한 작업에서는 공개형 LLM이 폐쇄형 LLM과 대등하거나 우세한 성능을 보였으나 수학, 코딩, 이미지 질의응답 등의 복잡한 작업에서는 큰 성능 격차를 보임을 확인하였으며, 더 나아가 비교적 작은 규모의 LLM이 규모 대비 좋은 성능을 보임을 확인하였다.