A Comparative Study of Lexicon-based and Multi-LLM Sentiment Analysis in Mental Health Discourse on Social Media

본 연구의 목적은 국내 소셜미디어에 게시된 정신건강 관련 텍스트를 대상으로 감성 사전 기반 분석과 다중 대규모 언어 모델(LLM) 기반 분석의 감성 분류 결과를 비교하는 것이다. 2025년 12월부터 2026년 1월까지 네이버 블로그와 뉴스에서 우울증, 불안장애, 공황장애, 정신건강, 우울감 관련 게시글 8,020건을 수집하고, KNU 한국어 감성 사전과 세 가지 LLM(EXAONE Deep 7.8B, Llama 3 8B Instruct, GPT-4o)을 활용하여 감성을 분류하였으며, NSMC 1,000건을 벤치마크로, Cohen's Kappa 계수를 일치도 지표로 활용하였다. 벤치마크 평가 결과 세 LLM 모두 감성 사전(0.593)보다 우수한 정확도(GPT-4o 0.842, Llama 3 0.806, EXAONE 0.754)를 보였다. 정신건강 데이터에서 감성 사전은 74.5%를 부정으로 분류한 반면 LLM 다수결은 61.7%였으며, 불일치 사례의 60.6%가 감성 사전의 부정 분류를 LLM이 긍정 또는 중립으로 재분류한 것이었다. 이는 감성 사전이 정신건강 도메인에서 체계적 부정 편향을 보이며, LLM이 맥락 기반 판단으로 이를 보정할 가능성을 시사한다. 향후 전문가 라벨링을 통한 도메인 특화 정확도 검증과 프롬프트 전략 비교가 필요하다.

Authors

Publication Details

Journal
The Journal of the Korea Contents Association
Published
2026-04-30
DOI
https://doi.org/10.5392/jkca.2026.26.04.339
Primary Topic
Mental Health via Writing
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

A Comparative Study of Lexicon-based and Multi-LLM Sentiment Analysis in Mental Health Discourse on Social Media

JongHwi Song
The Journal of the Korea Contents Association
Mental Health via Writing
article

A Comparative Study of Lexicon-based and Multi-LLM Sentiment Analysis in Mental Health Discourse on Social Media

JongHwi Song
article en

Abstract

본 연구의 목적은 국내 소셜미디어에 게시된 정신건강 관련 텍스트를 대상으로 감성 사전 기반 분석과 다중 대규모 언어 모델(LLM) 기반 분석의 감성 분류 결과를 비교하는 것이다. 2025년 12월부터 2026년 1월까지 네이버 블로그와 뉴스에서 우울증, 불안장애, 공황장애, 정신건강, 우울감 관련 게시글 8,020건을 수집하고, KNU 한국어 감성 사전과 세 가지 LLM(EXAONE Deep 7.8B, Llama 3 8B Instruct, GPT-4o)을 활용하여 감성을 분류하였으며, NSMC 1,000건을 벤치마크로, Cohen's Kappa 계수를 일치도 지표로 활용하였다. 벤치마크 평가 결과 세 LLM 모두 감성 사전(0.593)보다 우수한 정확도(GPT-4o 0.842, Llama 3 0.806, EXAONE 0.754)를 보였다. 정신건강 데이터에서 감성 사전은 74.5%를 부정으로 분류한 반면 LLM 다수결은 61.7%였으며, 불일치 사례의 60.6%가 감성 사전의 부정 분류를 LLM이 긍정 또는 중립으로 재분류한 것이었다. 이는 감성 사전이 정신건강 도메인에서 체계적 부정 편향을 보이며, LLM이 맥락 기반 판단으로 이를 보정할 가능성을 시사한다. 향후 전문가 라벨링을 통한 도메인 특화 정확도 검증과 프롬프트 전략 비교가 필요하다.

The Journal of the Korea Contents AssociationVol. 26(4)
Gender equality
Openalex Percentile: Top 3%
Mental Health via Writing
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.