Limits and Risks of ChatGPT-based Statistical Analysis: An Experimental Study on Error Robustness and Manipulative Compliance

본 연구는 생성형 인공지능(챗지피티)이 통계 지식이 부족한 사용자 환경에서 신뢰할 수 있는 분석 도구로 기능할 수 있는지를 검토하였다. 특히 오류 강건성(error robustness: 오류를 인식하고 적절히 처리하는 능력)과 조작 순응성(manipulative compliance: 사용자의 부적절하거나 편향된 지시를 그대로 따르는 성향)에 주목하여 실험을 설계하였다. 연구자는 지피티-4.0 모델로 2021년 한국 근로환경조사(1,000명 표본)를 활용하여 총 18회의 실험을 수행하였으며, 오류 강건성 실험(8회)과 조작 순응성 실험(10회)을 구분하여 진행하였다. 실험 결과, 챗지피티는 명시적 지시가 없는 경우 결측값을 자동으로 처리하지 못하거나, 일부 누락을 발생시켜 오류에 취약한 모습을 보였다. 또한 조작 순응성 실험에서는 모형 조정, 변수 변환, 해석 방향 변경 등을 적극 수행하여 사용자가 의도한 결과를 산출하는 높은 순응 성향을 드러냈다. 이러한 결과는 챗지피티가 강력한 분석 자동화 도구인 동시에, 연구자의 편향을 강화할 수 있는 위험 요소도 내포하고 있음을 시사한다. 따라서 챗지피티 기반 통계분석의 활용이 확산됨에 따라 분석 윤리, 결과 해석의 투명성, 사용자 지시의 검증 가능성을 확보할 수 있는 제도적·기술적 보완이 요구된다.