Effect of KV-cache quantization on long-context recall of Korean LLMs: a matched Korean-English comparison

장문맥 대규모 언어 모델(LLM) 추론에서 KV 캐시는 메모리 병목이며, KV 캐시 양자화는 이를 완화하는 표준 수단으로 주요 추론 프레임워크에 내장되어 있다. 그러나 그 정확도 평가는 대부분 영어에 국한되어, 토큰 팽창이 크고 문자 체계가 다른 한국어에 미치는 영향은 알려져 있지 않다. 본 논문은 한국어와 영어로 대응시킨 장문맥 회상(needle-in-a-haystack) 프로토콜을 설계하고, 한국어 대 영어 토큰 비율이 서로 다른 세 모델(EXAONE-3.5-7.8B, Llama-3.1-8B, Qwen3-8B)에 대해 BF16, 4비트, 3비트, 2비트 KV 캐시에서 4k∼32k 토큰 문맥의 회상률을 측정하였다. 정밀도당 1,728건의 측정 결과, (1) 4비트 KV 캐시는 8B급 세 모델 모두 한국어와 영어에서 32k까지 손실이 없었으나 4B 이하 Qwen3에서는 4비트에서도 손실이 나타났고, (2) 3비트 이하에서는 세 모델 중 두 모델(EXAONE, Qwen3)에서 한국어 회상률이 영어보다 유의하게 낮았고(3비트 4∼5%p, 2비트 12∼15%p) Llama-3.1은 2비트에서 4%p의 유의하지 않은 격차를 보였으며, (3) 이 불리함은 한국어 토큰이 영어보다 적은 EXAONE에서도 동일 토큰 길이에서 나타나 토큰 팽창이 아닌 언어 고유의 효과임을 확인하였다. 불리함의 기전은 모델에 따라 달라 Qwen3는 한국어 생성이 붕괴하고 EXAONE은 출력은 온전하되 숫자 검색 정밀도가 떨어졌다. 바늘을 전정밀도 잔여 창에 두어도 회상률은 회복되지 않았다. 손실의 원인은 바늘의 소실이 아니라 양자화된 문맥의 어텐션 교란이다.