Analysis of the Effects of Label Noise on Korean Lip-reading Model Training

대용량의 립리딩 데이터셋을 구축하는 것은 발화문을 구성하는 단어 및 각 단어를 발화한 시간 등의 정보를 어노테이션 해야 하기 때문에 상당히 어려운 문제이다. 일반적으로 립리딩 데이터셋 구축을 위한 레이블링 작업은 음성이 있는 동영상에 대해 자동 음성 인식 기술을 적용하여 발화문 텍스트를 획득한 후에 틀린 부분을 레이블러가 일일이 수정하는 방식으로 되고 있다. 그러나 음성 인식 기술의 부정확한 결과 및 여러 명의 레이블러들의 질에 따라 야기되는 일관성 없는 레이블로 인해 고품질의 대용량 립리딩 데이터셋을 구축하는 것은 어려운 일이다. 본 논문에서는 자체적으로 구축한 대용량 한국어 립리딩 데이터셋에서의 립리딩 모델 학습 시의 레이블 노이즈의 영향성을 분석한다. 데이터셋에 다양한 합성 레이블 노이즈를 포함하도록 구성하고, 레이블 노이즈의 종류 및 비율에 따른 립리딩 모델의 성능을 분석한다. 또한 데이터셋의 크기에 따른 성능을 평가하여 레이블 노이즈에 따른 성능과 비교함으로써 대용량 데이터셋에서의 허용 가능한 레이블 노이즈 비율을 분석한다.