KRAFT³-QA: Korean financial text-table benchmark for evaluating tool-augmented agents on QA tasks

기업의 정기 사업보고서는 텍스트와 테이블이 혼합된 복합 문서로, 실무적 활용을 위해서는 분산된 정보를 유기적으로 통합해 해석하는 종합적인 추론 능력이 요구된다. 그러나, 현행 거대 언어 모델(LLM)은 이러한 복합 추론에서 한계를 보이며, 기존 금융 벤치마크는 도구 활용 측면과 같은 실무적 역량을 충분히 평가하지 못한다. 본 연구는 이러한 한계를 극복하기 위해, 한국 상장 기업의 사업보고서를 기반으로 한 새로운 벤치마크 KRAFT³-QA를 제안한다. KRAFT³-QA는 문서 내 다양한 항목을 통합해야 정답에 도달할 수 있는 사지선다형 태스크로 구성되며, 정확도와 유효 응답률을 통해 성능을 평가한다. 주요 공개 LLM을 대상으로 한 실험 결과, 모델의 규모와 추론 구조가 성능에 영향을 줄 수 있음을 확인했다. 본 연구는 문서 기반 도구 활용형 QA 벤치마크와 평가 프레임 워크를 제안함으로써, LLM 에이전트의 실질적인 문제 해결 능력을 정량적으로 평가할 수 있는 기술적 기반을 마련했다는 데 의의가 있다.