Efficient Instruction Tuning via LLM-Based Training Dataset Clustering and Representative Samples Quality Assessment

거대 언어모델(LLM)의 학습 데이터를 효율적으로 구축하기 위해, LLM으로 데이터를 합성하고 다시 LLM으로 그 품질을 평가하는 방식이 널리 활용되고 있다. 그러나 수십만 개의 샘플을 일일이 평가하기 위해선 여전히 큰 비용이 필요하고, 이를 개선하고자 본 연구는 군집화 기반 평가 방식을 제안한다. 평가 비용을 최소화하기 위해, 문장 임베딩을 활용하여 유사한 의미를 갖는 샘플들끼리 군집화하고, 각 군집의 대표 샘플들에 대해서만 품질을 평가하는 것이다. 그 결과가 임곗값을 넘으면 해당 군집을 학습데이터에 포함했다. 실험 결과, 제안 방식은 전체 데이터를 학습한 경우와 유사하거나 더 나은 성능을 보였으며, 동일한 양의 데이터를 무작위로 선정한 경우보다도 대체로 우수한 성능을 보였다. 이는 LLM을 활용하여 데이터 군집화와 품질 평가를 결합한 학습데이터 선별 전략이 효율적이면서 적은 양의 고품질 데이터로도 전체 데이터를 학습한 모델과 유사한 성능을 달성할 수 있음을 보여준다.