A Comparative Study on the Explainability and Efficiency of Foundation Models in Prompt-based Sentiment Analysis
최근 대규모 언어 모델(Large Language Model, LLM)은 감성 분석을 포함한 자연어 처리 분야에서 우수한 성능을 보이고 있으나, 프롬프트 설계 방식에 따라 예측 성능과 해석 일관성이 크게 달라지는 문제가 존재한다. 본 연구에서는 프롬프트 유형에 따른 파운데이션 모델의 감성 분석 성능과 LIME을 활용한 설명 가능성을 비교 분석하였다. 실험에서는 한국어 앱 리뷰, 영어 IMDB 리뷰, 영어 TweetEval 데이터셋을 대상으로 역할 기반, 문맥 강화, 소수 예제, 형식 제한 프롬프트를 적용하고, GPT-4o-mini와 Gemini 2.5 Flash 모델의 성능을 평가하였다. 또한 문장 임베딩 기반 코사인 유사도와 LIME을 활용하여 예측 결과의 의미적 일관성과 설명 안정성을 정량, 정성적으로 분석하였다. 실험 결과, 이진 분류(IMDB)에서는 성능 차이가 1.5%p 이내였고 설명 일관성 차이도 0%p로 나타나 전반적으로 제한적이었다. 반면 삼중 분류(APP, Tweet)에서는 최대 약 3.0%p의 성능 차이가 나타났으며, 트윗 도메인에서는 설명 일관성 차이가 LIME 기준 25.0%p, 전체 합의율 기준 12.5%p로 확인되었다. 본 연구는 LLM 기반 감성 분석에서 프롬프트 설계가 성능과 해석 가능성에 미치는 영향을 체계적으로 분석하였다는 점에서 의의를 갖는다.
Authors
- Misun Lee (ORCID: https://orcid.org/0009-0003-0555-3093)
Publication Details
- Journal
- Journal of the Korea Society of Computer and Information
- Published
- 2026-03-31
- DOI
- https://doi.org/10.9708/jksci.2026.31.03.079
- Primary Topic
- Technology and Data Analysis
- Type
- article
- Field-Weighted Citation Impact
- 0.00