Load-Aware Dynamic Tree-Based Speculative Decoding Method in Mobile Systems

본 논문은 연산 자원과 배터리가 한정된 모바일 시스템에서 대규모 언어 모델(LLM)의 추론 속도와 연산 부하 기반 효율을 높이는 동적 트리 기반 추측 디코딩 최적화 기법을 제안한다. 서버 환경을 위한 기존 트리 확장 정책은 모바일 하드웨어 제약을 고려하지 않아 트리가 확장될수록 검증 지연이 선형적으로 증가하고 추론 효율이 저하된다. 본 연구는 실시간 CPU 및 GPU의 주파수와 활용률로부터 전력 소모와 높은 상관을 갖는 프록시(Proxy)인 연산 부하 지수(Load Index)를 정의하고, 단위 부하 대비 토큰 생성 효율(TPS/Load)을 목적 함수로 트리의 너비, 깊이, 재순위화 노드 수를 조절하는 EAGLE-2 기반 베이즈 최적화를 수행하였다. 실험 결과, 제안 기법은 자기 회귀(AR) 방식 대비 처리량을 1.51배, 베이스 라인 대비 TPS/Load를 3.16배 향상시켰으며, 최적화된 모델이 모바일 제약 내에서 속도와 연산 부하 간의 효율적인 균형점에 위치함을 확인하였다.