Development of a Korean News Question Answering System Based on LLM Using RAPTOR

본 연구는 대형 언어 모델(Large Language Model)의 최신 정보 부족 및 환각 현상과 같은 한계를 보완하기 위해 RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval) 기반의 질의응답 시스템을 제안한다. 비교 모델로는 현재 산업계에서 널리 활용되고 있는 RAG(Retrieval-Augmented Generation)를 설정하여, 두 기법의 성능을 실증적으로 분석하였다. 이를 위해 빅카인즈(BIGKINDS)의 주간 이슈 데이터를 수집하고 벡터 데이터베이스로 임베딩하여 외부 지식 저장소를 구축하였다. LangChain을 활용하여 실험 환경을 구축하고 실증분석을 수행한 결과, 제안 기법인 RAPTOR는 추상적인 질문에 대해 RAG보다 더 나은 성능을 보였으며, 구체적인 질문에 대해서는 두 기법이 유사한 성능을 발휘하였다. 이를 통해 RAPTOR는 복잡한 질문에 대한 응답에서 우수성을 입증하였으며, 특히 추상적인 질문 처리에 있어 효과적인 솔루션임을 확인할 수 있었다.

Authors

Publication Details

Journal
Journal of Intelligence and Information Systems
Published
2024-12-31
DOI
https://doi.org/10.13088/jiis.2024.30.4.205
Primary Topic
Technology and Data Analysis
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

Development of a Korean News Question Answering System Based on LLM Using RAPTOR

Hyunchul Ahn, Young Ho Yun
Journal of Intelligence and Information Systems
Technology and Data Analysis
article

Development of a Korean News Question Answering System Based on LLM Using RAPTOR

Hyunchul Ahn, Young Ho Yun
article en

Abstract

본 연구는 대형 언어 모델(Large Language Model)의 최신 정보 부족 및 환각 현상과 같은 한계를 보완하기 위해 RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval) 기반의 질의응답 시스템을 제안한다. 비교 모델로는 현재 산업계에서 널리 활용되고 있는 RAG(Retrieval-Augmented Generation)를 설정하여, 두 기법의 성능을 실증적으로 분석하였다. 이를 위해 빅카인즈(BIGKINDS)의 주간 이슈 데이터를 수집하고 벡터 데이터베이스로 임베딩하여 외부 지식 저장소를 구축하였다. LangChain을 활용하여 실험 환경을 구축하고 실증분석을 수행한 결과, 제안 기법인 RAPTOR는 추상적인 질문에 대해 RAG보다 더 나은 성능을 보였으며, 구체적인 질문에 대해서는 두 기법이 유사한 성능을 발휘하였다. 이를 통해 RAPTOR는 복잡한 질문에 대한 응답에서 우수성을 입증하였으며, 특히 추상적인 질문 처리에 있어 효과적인 솔루션임을 확인할 수 있었다.

Journal of Intelligence and Information SystemsVol. 30(4)
Openalex Percentile: Top 59%
Technology and Data Analysis
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.