Leveraging QLoRA on Code Large Language Models for Multilingual Code Translation

본 논문에서는 다언어 코드 번역을 위해 다양한 코드 대형 언어 모델(code LLM)에 Quantized Low-Rank Adaptation (QLoRA)을 적용하여 효율적으로 튜닝하고 성능을 비교한다. 이를 위해 XLCoST 데이터 세트를 사용하여 42개의 프로그래밍 언어 쌍에 대해 5개의 대표적인 code LLM의 코드 번역 성능을 평가한다. 실험 결과 Java-Python 변환에서 CodeLlama-7B-Instruct와 CodeT5+ 770M 모델이 각각 0.740, 0.735점으로 가장 높은 CodeBLEU 점수를 기록했으나, 전체적으로 모델 간 평균 성능은 유사했다. 또한 언어 쌍에 따른 번역 품질 차이가 뚜렸했다. PHP-C++ 쌍은 저조했으나 Python 대상 번역은 우수한 편이었으며, 이는 모델의 사전 학습 데이터 구성과 연관된 것으로 보인다. 한편 QLoRA를 통해 CodeLlama 등 대형 모델을 단일 48GB GPU에서 효과적으로 튜닝할 수 있음을 확인하였다.