Reshaping the Regulatory Response to the Use of Algorithmic Content Moderation - A Technical and Normative Assessment

콘텐츠 모더레이션(content moderation)은 플랫폼 서비스 사업자가 자사의 이용정책 및 관련 법규에 비추어 불법 ∙ 유해 콘텐츠로 판단한 이용자생성콘텐츠에 대하여 인적 ∙ 기술적 ∙ 관리적 수단을 활용해 그 게시 ∙ 유통 ∙ 확산을 제한하는 일련의 의사결정 과정을 통칭한다. 2020년대에 이르러 콘텐츠 모더레이션 환경은 두 가지 중대한 변화를 겪었다. 첫째, 콘텐츠 유형의 다양화, 온라인 게시물의 폭발적 증가, 서비스 이용자 기반의 확대, 모더레이션 운영 비용 상승 등으로 인해, AI 기술을 활용한 모더레이션 자동화가 빠르게 확산하였다. 이를 통해 인간 모더레이터 중심의 사후 대응적 조치의 한계를 극복하고, 불법 ∙ 유해 콘텐츠에 대한 선제적이고 즉각적인 대응이 가능하게 되었다. 둘째, 국가기관이 법과 제도를 통하여 모더레이션 전반에 영향을 미치게 되면서, 그동안 플랫폼 기업이 전적으로 주도해 온 모더레이션의 규범적 의미 또한 달라졌다. 특히 AI 기술 도입이 확대됨에 따라, 이러한 기술적 조치의 활용 및 운영 방식이 주요국의 플랫폼 규제 설계에 핵심 요소의 하나로 반영되고 있다. 플랫폼 비즈니스 운영이나 이용자를 위한 서비스 지원 차원에서 주로 논의되던 모더레이션이, 점차 기본권 보호를 포함한 관련 법규 준수와 직결된 규범적 함의를 띈 의사결정으로도 이해되면서, 여러 국가와 사적 주체들 간 규제의 각축장이 된 것이다.<br/> 이에 본 고는 AI 기반 콘텐츠 모더레이션의 배경과 작동 원리 ∙ 활용 현황에 대한 분석을 바탕으로 모더레이션 자동화의 기술적 ∙ 규범적 한계를 규명한다. 주요 플랫폼은 해시매칭, 분류 모델 기반 위험 예측, LLM 기반의 모더레이션 방식 등을 결합하여 개별 콘텐츠의 유형에 맞게 차별화된 시스템을 운영하고 있다. 이처럼 플랫폼이 실제 활용하는 기술적 방법론을 검토함으로써, 모더레이션 자동화가 규제기관 ∙ 플랫폼 사업자 ∙ 이용자 등의 이해관계자에게 미치는 영향을 함께 분석하고자 한다. 또한 콘텐츠 모더레이션을 둘러싼 기술적 ∙ 규범적 환경의 변화와 주요국의 대응을 분석하기 위하여 EU의 디지털서비스법, 영국 ∙ 호주의 온라인안전법 및 미국의 통신품위법 제230조 및 최근 입법 동향 상의 변화 양상을 중심으로 연구한 후, 이를 토대로 우리 전기통신사업법 및 동 법시행령상의 기술적 ∙ 관리적 조치 규정을 검토한다. 그 결과로, AI 기반 모더레이션의 기대효과 ∙ 한계를 고려하는 가운데 자유롭고 안전한 온라인 플랫폼 환경 조성을 위한 국내 법제 개선 방향을 제시하고자 한다.