Evaluating the usability of ChatGPT in pre-hospital emergency patient history taking scenario training: Comparison of ChatGPT 3.5 and 4.0

본 연구는 Open AI의 언어 모델인 ChatGPT를 활용하여 병원 전 단계에서 응급환자의 병력청취 시나리오 교육 활용 가능성을 평가하기 위해 흉통과 복통을 주호소로 하는 시나리오 교육 프로그램을 위한 ChatGPT 시작 프롬프트를 개발하고, 개발한 시작 프롬프트를 사용하여 ChatGPT 3.5와 4.0 버전의 응급환자 병력청취 시나리오 프로그램의 사용성을 분석하였다. 연구 기간은 2024년 2월부터 5월까지로 반복 테스트를 통해 두 버전에서 대화형 시나리오를 성공적으로 시작할 수 있는 시작 프롬프트를 개발했으며, 응급구조학을 전공한 응급의료종사자 30명을 대상으로 프로그램 사용성 평가도구(SUS: System Usability Scale, 이하 SUS)를 사용하여 교육 프로그램으로서의 사용성을 평가했다. 연구결과, ChatGPT 3.5의 평균 SUS 점수는 80.96±7.35점, ChatGPT 4.0의 평균 SUS 점수는 82.75±8.83점으로 나타났고 두 버전 간 유의한 차이는 없었다(р=.229). 두 버전 모두 SUS 허용 기준인 68점을 초과했다. ChatGPT는 사전 데이터 학습 없이도 병원 전 단계에서 수행하는 병력청취를 위한 질문에 적절한 응답을 생성할 수 있었다. 이는 한글 기반의 입력을 통해 국내에서 학생들이 쉽게 접근할 수 있는 것을 확인하였고 이 과정을 통해 응급구조학 분야 학생들이 관련 분야의 주요 지식을 효과적으로 학습할 수 있는 중요한 도구로 활용될 수 있는 가능성을 확인하였다.