Hallucination Detection and Explanation Model for Enhancing the Reliability of LLM Responses

최근 대형 언어 모델(LLM)의 발전은 자연어 처리 분야에서 주목할 만한 성과를 거두었으나, 환각 현상으로 인한 신뢰성 문제가 여전히 존재한다. 기존의 환각 연구는 주로 탐지 자체에 초점을 맞추고 있어, 환각 발생의 원인과 맥락을 설명하는 능력이 부족하다. 이에 본 연구에서는 단순한 탐지를 넘어 환각의 근거까지 제시하는 환각 특화 모델을 제안한다. 제안하는 모델은 환각 여부를 분류하는 동시에, 탐지된 환각에 대한 설명을 생성하여 사용자가 모델의 응답을 보다 신뢰할 수 있도록 설계되었다. 실험 결과, 본 모델은 Llama3 70B 및 GPT4o와 같은 대형 모델보다 높은 환각 탐지 정확도를 보였으며, 신뢰도 높은 설명을 일관되게 생성하는 것으로 나타났다. 특히, 제안하는 모델은 다양한 데이터 세트에서도 안정적인 탐지 및 설명 성능을 유지하며 높은 적응력을 보였다. 본 연구는 환각 탐지와 설명 생성을 통합함으로써, 언어 모델의 환각을 평가하는 새로운 방법을 제시한다.

Authors

Publication Details

Journal
Journal of KIISE
Published
2025-05-25
DOI
https://doi.org/10.5626/jok.2025.52.5.404
Citations
1
Primary Topic
Big Data and Digital Economy
Type
article
Field-Weighted Citation Impact
3.25
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

Hallucination Detection and Explanation Model for Enhancing the Reliability of LLM Responses

Sungho Heo, Wonik Choi, Sujeong Lee, Hayoung Lee
1 citations
Journal of KIISE
Big Data and Digital Economy
3.25
article

Hallucination Detection and Explanation Model for Enhancing the Reliability of LLM Responses

Sungho Heo, Wonik Choi, Sujeong Lee, Hayoung Lee
article en
1 citations

Abstract

최근 대형 언어 모델(LLM)의 발전은 자연어 처리 분야에서 주목할 만한 성과를 거두었으나, 환각 현상으로 인한 신뢰성 문제가 여전히 존재한다. 기존의 환각 연구는 주로 탐지 자체에 초점을 맞추고 있어, 환각 발생의 원인과 맥락을 설명하는 능력이 부족하다. 이에 본 연구에서는 단순한 탐지를 넘어 환각의 근거까지 제시하는 환각 특화 모델을 제안한다. 제안하는 모델은 환각 여부를 분류하는 동시에, 탐지된 환각에 대한 설명을 생성하여 사용자가 모델의 응답을 보다 신뢰할 수 있도록 설계되었다. 실험 결과, 본 모델은 Llama3 70B 및 GPT4o와 같은 대형 모델보다 높은 환각 탐지 정확도를 보였으며, 신뢰도 높은 설명을 일관되게 생성하는 것으로 나타났다. 특히, 제안하는 모델은 다양한 데이터 세트에서도 안정적인 탐지 및 설명 성능을 유지하며 높은 적응력을 보였다. 본 연구는 환각 탐지와 설명 생성을 통합함으로써, 언어 모델의 환각을 평가하는 새로운 방법을 제시한다.

Journal of KIISEVol. 52(5)
Zero hunger
Openalex Percentile: Top 9%
Big Data and Digital Economy
3.25
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.