A Comparative Study of Error Correction Patterns between Large Language Models and Native Speakers for Korean Language Learners

본 연구는 외국인 한국어 학습자의 작문에서 나타나는 오류를 인간 교정자와 거대언어모델의 교정 양상을 비교ㆍ분석하였다. 이를 통해 현재 LLM의 한국어 자동 교정 도구로서의 활용 가능성을 평가하고자 하였다. 연구 자료는 국립국어원의 <한국어학습자말뭉치>에서 수집된 고급 학습자 작문 100개였으며, 교정 결과는 문장 단위로 비교하여 코사인 유사도를 산출하였다. 분석 결과, LLM의 교정 결과와 인간 교정자의 교정 결과는 평균 0.8의 유사도를 보였으며, 전체 문장의 약 40%는 완전히 일치하였다. 그러나 문체와 화계, 피동 구문, 문법 구조, 연어 생성 등에서 차이가 나타났다. LLM은 문체를 일관되게 하지 못하거나, 한국어의 특정 문법 구조를 올바르게 처리하지 못하는 경향을 보였으나, 연어 생성에서는 상대적으로 더 자연스러운 표현을 제공하는 경우도 있었다. 본 연구는 LLM의 한국어 교정 능력에 대한 연구로서 의의가 있으며 향후 연구에서는 다양한 학습자 변인과 데이터의 확장을 통한 심층 분석을 제언한다.

Authors

Publication Details

Journal
Journal of the International Network for Korean Language and Culture
Published
2024-09-30
DOI
https://doi.org/10.15652/ink.2024.21.3.029
Primary Topic
Educational Systems and Policies
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

A Comparative Study of Error Correction Patterns between Large Language Models and Native Speakers for Korean Language Learners

Sinhye Nam
Journal of the International Network for Korean Language and Culture
Educational Systems and Policies
article

A Comparative Study of Error Correction Patterns between Large Language Models and Native Speakers for Korean Language Learners

Sinhye Nam
article en

Abstract

본 연구는 외국인 한국어 학습자의 작문에서 나타나는 오류를 인간 교정자와 거대언어모델의 교정 양상을 비교ㆍ분석하였다. 이를 통해 현재 LLM의 한국어 자동 교정 도구로서의 활용 가능성을 평가하고자 하였다. 연구 자료는 국립국어원의 <한국어학습자말뭉치>에서 수집된 고급 학습자 작문 100개였으며, 교정 결과는 문장 단위로 비교하여 코사인 유사도를 산출하였다. 분석 결과, LLM의 교정 결과와 인간 교정자의 교정 결과는 평균 0.8의 유사도를 보였으며, 전체 문장의 약 40%는 완전히 일치하였다. 그러나 문체와 화계, 피동 구문, 문법 구조, 연어 생성 등에서 차이가 나타났다. LLM은 문체를 일관되게 하지 못하거나, 한국어의 특정 문법 구조를 올바르게 처리하지 못하는 경향을 보였으나, 연어 생성에서는 상대적으로 더 자연스러운 표현을 제공하는 경우도 있었다. 본 연구는 LLM의 한국어 교정 능력에 대한 연구로서 의의가 있으며 향후 연구에서는 다양한 학습자 변인과 데이터의 확장을 통한 심층 분석을 제언한다.

Journal of the International Network for Korean Language and CultureVol. 21(3)
Quality Education
Openalex Percentile: Top 72%
Educational Systems and Policies
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.