In-Depth Evaluations of the Primality Testing Capabilities of Large Language Models: with a Focus on ChatGPT and PaLM 2

이 연구는 ChatGPT와 PaLM 2, 두 대규모 언어 모델의 소수 검증 능력을 심층적으로 조사한다. 하나의 수에 대해 소수인지 합성수인지 반대 형태의 예/아니오 질문 두 개를 묻는다. 두 질문에 대해 모두 정답을 생성한 경우에만 언어 모델이 해당 수에 대해 성공적으로 검증을 수행한 것으로 간주한다. 또한, 생성 프롬프트 내 나눗셈 연산에 오류가 발생하는지를 고려한다. 소수 664 개 및 합성수 1458 개 데이터셋에 대한 추론 결과로부터, 대상 숫자의 난도가 증가함에 따라 검증 정확도가 감소함을 발견하였다. 연산 오류를 반영한 후 검증 정확도는 두 모델에서 모두 감소하였으며, PaLM 2는 난도가 높은 네 자리 합성수에 대한 검증을 모두 실패하였다. 이 결과는 단순한 질문에 기반한 언어 모델의 추론 능력 평가는 오해의 소지가 있으며, 심층 평가가 필요함을 시사한다.