Korean Benchmark for Science and Technology Information Domain to Evaluate Large Language Models
본 논문에서는 거대 언어 모델의 과학기술정보 분야의 전문 지식을 평가하기 위해 한국어 벤치마크를 구축한다. 범용 분야 벤치마크와 차별화된 도메인 특화 데이터 구축을 위하여 과학기술정보 전문분야 8가지 카테고리를 정의하고 각 문제의 난이도와 평가 기준을 수립한다. 본 논문에서 제안한 2단계 데이터 자동 생성 방법은 벤치마크 품질과 전문성을 향상시키며, 구축 시간을 단축한다. 거대언어모델 실험 결과, 다중 선택(all) 문제 유형에서 정확도가 0.17 0.32로 나타나 과학기술정보 도메인 벤치마크의 유효성을 확인하였다. 이는 범용 인공 지능(AGI)을 목표로 학습된 언어 모델의 도메인 특화 평가 연구에 중요한 토대를 마련할 것으로 보인다.
Authors
- KyungTae Lim (ORCID: https://orcid.org/0000-0002-5818-1161)
- Cheoneum Park (ORCID: https://orcid.org/0000-0001-5386-0483)
- Byeong-Ho Lee (ORCID: https://orcid.org/0000-0001-8999-0861)
- J Yuk (ORCID: https://orcid.org/0000-0002-6546-3693)
- David Koh (ORCID: https://orcid.org/0000-0001-6803-7879)
- Taehoon Kim (ORCID: https://orcid.org/0009-0002-3197-1507)
- Kevin Lee (ORCID: https://orcid.org/0000-0001-5416-4826)
Publication Details
- Journal
- Journal of KIISE
- Published
- 2025-10-24
- DOI
- https://doi.org/10.5626/jok.2025.52.10.841
- Primary Topic
- Computational and Text Analysis Methods
- Type
- article
- Field-Weighted Citation Impact
- 0.00