The Current State and Limitations of Large Language Models-Based Surveys

사회과학자들은 빠르게 발전하고 있는 거대언어모델을 연구에 활용하기 위해 다양한 방법을 모색하고 있다. 여러 시도들 중 하나는 거대언어모델을 활용하여 설문조사를 실시하는 것이다. 인구사회학적 변수에 따라 사람들의 응답이 변하는 점에 착안하여, 거대언어모델에게 특정 인구사회학적 조건을 페르소나로 부여하고 이에 대한 응답을 수집하여 분석하는 방식이다. 본 글은 이와 같은 방법론의 현재 발전 방향을 파악하고, 사회학의 개념적 틀에서 총 세 가지 근원적 한계점이 있음을 지적한다. 첫째, 구조 속에서 일어나는 개인의 행위를 해석할 때 구조의 영향력을 과대평가 할 수 있다. 둘째, 사회적 사실이 특정 사회에 제한적으로 보편적이라는 특성을 반영하기 힘들다. 셋째, 우리가 사용하는 거대언어 모델은 사회 규범과 합치하도록 이미 내부 검열을 마친 상태이기 때문에 그 자체로 사회적 산물이며, 따라서 실제 여론을 반영한다고 보기 어렵다. 따라서 거대언어모델을 활용하여 기존의 설문조사를 재생산하려는 시도보다 거대언어모델이 바꿔나갈 앞으로의 사회의 모습을 연구하는 방향 혹은 창의적으로 설문조사를 재설계하는 방향을 제안한다.