A Comparative Study on the Explainability and Efficiency of Foundation Models in Prompt-based Sentiment Analysis

최근 대규모 언어 모델(Large Language Model, LLM)은 감성 분석을 포함한 자연어 처리 분야에서 우수한 성능을 보이고 있으나, 프롬프트 설계 방식에 따라 예측 성능과 해석 일관성이 크게 달라지는 문제가 존재한다. 본 연구에서는 프롬프트 유형에 따른 파운데이션 모델의 감성 분석 성능과 LIME을 활용한 설명 가능성을 비교 분석하였다. 실험에서는 한국어 앱 리뷰, 영어 IMDB 리뷰, 영어 TweetEval 데이터셋을 대상으로 역할 기반, 문맥 강화, 소수 예제, 형식 제한 프롬프트를 적용하고, GPT-4o-mini와 Gemini 2.5 Flash 모델의 성능을 평가하였다. 또한 문장 임베딩 기반 코사인 유사도와 LIME을 활용하여 예측 결과의 의미적 일관성과 설명 안정성을 정량, 정성적으로 분석하였다. 실험 결과, 이진 분류(IMDB)에서는 성능 차이가 1.5%p 이내였고 설명 일관성 차이도 0%p로 나타나 전반적으로 제한적이었다. 반면 삼중 분류(APP, Tweet)에서는 최대 약 3.0%p의 성능 차이가 나타났으며, 트윗 도메인에서는 설명 일관성 차이가 LIME 기준 25.0%p, 전체 합의율 기준 12.5%p로 확인되었다. 본 연구는 LLM 기반 감성 분석에서 프롬프트 설계가 성능과 해석 가능성에 미치는 영향을 체계적으로 분석하였다는 점에서 의의를 갖는다.

Authors

Publication Details

Journal
Journal of the Korea Society of Computer and Information
Published
2026-03-31
DOI
https://doi.org/10.9708/jksci.2026.31.03.079
Primary Topic
Technology and Data Analysis
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

A Comparative Study on the Explainability and Efficiency of Foundation Models in Prompt-based Sentiment Analysis

Misun Lee
Journal of the Korea Society of Computer and Information
Technology and Data Analysis
article

A Comparative Study on the Explainability and Efficiency of Foundation Models in Prompt-based Sentiment Analysis

Misun Lee
article en

Abstract

최근 대규모 언어 모델(Large Language Model, LLM)은 감성 분석을 포함한 자연어 처리 분야에서 우수한 성능을 보이고 있으나, 프롬프트 설계 방식에 따라 예측 성능과 해석 일관성이 크게 달라지는 문제가 존재한다. 본 연구에서는 프롬프트 유형에 따른 파운데이션 모델의 감성 분석 성능과 LIME을 활용한 설명 가능성을 비교 분석하였다. 실험에서는 한국어 앱 리뷰, 영어 IMDB 리뷰, 영어 TweetEval 데이터셋을 대상으로 역할 기반, 문맥 강화, 소수 예제, 형식 제한 프롬프트를 적용하고, GPT-4o-mini와 Gemini 2.5 Flash 모델의 성능을 평가하였다. 또한 문장 임베딩 기반 코사인 유사도와 LIME을 활용하여 예측 결과의 의미적 일관성과 설명 안정성을 정량, 정성적으로 분석하였다. 실험 결과, 이진 분류(IMDB)에서는 성능 차이가 1.5%p 이내였고 설명 일관성 차이도 0%p로 나타나 전반적으로 제한적이었다. 반면 삼중 분류(APP, Tweet)에서는 최대 약 3.0%p의 성능 차이가 나타났으며, 트윗 도메인에서는 설명 일관성 차이가 LIME 기준 25.0%p, 전체 합의율 기준 12.5%p로 확인되었다. 본 연구는 LLM 기반 감성 분석에서 프롬프트 설계가 성능과 해석 가능성에 미치는 영향을 체계적으로 분석하였다는 점에서 의의를 갖는다.

Journal of the Korea Society of Computer and InformationVol. 31(3)
Openalex Percentile: Top 3%
Technology and Data Analysis
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.