Safety Evaluation of Large Language Models - Analysis of Domestic and Foreign Datasets

인공지능 모델의 위험은 문제 발생 이전에 발견, 탐지, 식별되어 보완 및 방어되어 사용자의 안전을 보장해야 한다. 그렇게 하기 위해서는 철저한 안전성 평가 및 사전 대응 시스템이 마련되어야 하며 이는 모델 개발 초기 단계부터 이루어져야 한다. 이에 본 연구는 인공지능 모델의 안전성과 관련한 주요 논의의 장을 마련하고 그 토대를 확산하고자 인공지능 모델의 안전성을 평가하기 위해 데이터를 중심으로 국내외 안전성 평가 관련 벤치마크 및 학습 데이터를 조사하고, 국내 안전성 평가 연구 동향을 분석한다. 본 연구에서는 데이터의 구축 목적, 방식, 형식 및 정성 평가 여부 등을 기준으로 국내외 데이터 세트를 살펴본 결과 데이터 설계가 단일 목적 평가에서 복합적인 평가 요소를 고려하는 방향으로 발전하고 있음을 확인했다. 특히, LLM 활용 특성에 맞춘 프롬프트 형식의 입력 데이터와 생성형 AI를 활용한 대량 데이터 세트 구축이 주요 추세로 나타났다. 국내에서는 상대적으로 적은 벤치마크 데이터 세트가 개발되고 있으며, 학습 데이터로로 공개되어 직접 구축 방식과 게시글, 댓글을 활용한 수집이 주를 이루고 있어 점진적인 발전이 이루어지고 있음을 알 수 있었다. 이러한 흐름은 국내 자연어처리 학술대회(HCLT)에서 발표된 연구 동향에서도 나타나며 유해성 중심의 데이터 세트 개발이 진행되는 가운데 신뢰성 연구도 활발히 이루어지고 있음을 확인할 수 있었다.