LLMEE: Enhancing Explainability and Evaluation of Large Language Models through Visual Token Attribution

대규모 언어 모델(LLM)은 자연어 처리(NLP)와 생성형 AI 분야에서 중요한 발전을 이루었지만 복잡한 구조로 인해 해석과 신뢰성 확보에 어려움이 있다. 이를 해결하기 위해 본 연구에서는 LLM의 예측 과정을 시각적으로 설명하고 평가하는 도구인 LLMEE를 제안한다. LLMEE는 입력된 각 토큰이 출력에 미치는 영향을 시각적으로 표현하여 모델의 투명성을 높이며 Summarization, Question Answering, Text Generation과 같은 다양한 NLP 작업에 적용 가능하다. 또한 ROUGE, BLEU, BLEURTScore와 같은 평가 지표를 통합한 결과를 제공하여 LLM의 출력 품질을 정량적·정성적으로 평가할 수 있도록 설계하였다. LLMEE는 LLM의 복잡한 작동 원리를 이해할 수 있게 하고 품질에 대한 추가적인 평가를 제공하므로 신뢰성 있는 LLM 평가 및 개선에 기여할 수 있을 것으로 기대된다.