Validation of Difficulty Classification Concordance using GPT-4o for Physical Therapy Exam Questions
본 논문에서는 물리치료 시험 문제 난이도 분류에서 GPT-4o의 타당성을 인간 전문가 평가와 비교 검증하였다. 한국 3개 대학의 180명 물리치료 전문가(교수 11명, 학생 169명)가 GPT-4o가 5 단계로 분류한 525개 문항을 5점 리커트 척도로 평가했다. GPT-4o 분류는 인간 평가와 매우 높은 상관관계를 보였으며(r = 0.988, p < 0.001), 인간 평가 변동의 97.6%를 설명했다. Bland-Altman 분석에서 체계적 편향은 최소였고(평균 차이 = -0.233), 평가자 간 신뢰도는 교수(ICC = 0.912)와 학생(ICC = 0.908) 모두 우수했으며, 기관 간 유의한 차이는 없었다(p = 0.794). 이는 GPT-4o가 물리치료 교육에서 신뢰할 수 있는 평가 도구로 활용될 수 있음을 시사한다.
Authors
- Hoen‐oh Shin (ORCID: https://orcid.org/0000-0002-3176-0075)
- Seoyoon Heo
- Xu Ma (ORCID: https://orcid.org/0000-0001-7674-3589)
- M. Park
- Tae-Seok Choi
- Yuemei Jin (ORCID: https://orcid.org/0000-0002-3590-8487)
- Hongrae Kim (ORCID: https://orcid.org/0000-0002-9319-7521)
- D. Kwon (ORCID: https://orcid.org/0000-0003-2207-8231)
- Wansuk Choi
Publication Details
- Journal
- Journal of the Korea Society of Computer and Information
- Published
- 2025-08-31
- DOI
- https://doi.org/10.9708/jksci.2025.30.08.233
- Primary Topic
- Artificial Intelligence in Healthcare
- Type
- article
- Field-Weighted Citation Impact
- 0.00