Improving Face Recognition Performance through Hyperspectral Face Dataset Augmentation

RGB 이미지는 빨강, 초록, 파랑의 세 가지 기본 색상 채널만을 사용하여 정보를 표현하는 반면, 초분광 이미지는 더 넓은 스펙트럼을 활용하여 정보를 담아낸다. 이를 통해 초분광 얼굴 이미지는 얼굴의 세부적인 특징과 피부 상태를 더욱 정확하게 파악할 수 있는 세밀한 정보를 제공한다. 그러나 초분광 얼굴 이미지를 획득하기 위해서는 고가의 카메라, 정교한 장비 설치, 그리고 제한된 촬영 환경이 요구되어 충분한 양의 데이터셋을 확보하기가 어렵다. 이러한 이유로 현재 공개된 초분광 얼굴 데이터셋은 객체 및 샘플 수가 제한적이며, 이는 초분광 이미지를 사용한 얼굴 인식 시스템의 일반화에 어려움을 준다. 이를 해결하기 위해, 본 논문에서는 초분광 얼굴 데이터셋의 다양성을 증대시키는 증강 기법을 제안한다. 먼저, 이미지 생성 기법인 StyleGAN2-ADA를 사용하여 새로운 얼굴 객체를 증강한 후, Face Pose Augmentation을 적용하여 동일 객체에 대한 다양한 포즈를 생성함으로써 데이터의 다양성을 확대하였다. 초분광 이미지 기반 얼굴 인식 실험을 통해 제안된 데이터 증강 방법의 효용성을 네 가지 모델에 대해 검증한 결과, 모든 모델에서 증강된 초분광 얼굴 데이터셋을 추가로 사용한 경우 Accuracy가 향상되었으며, 최대 0.9907까지 성능이 증가하였다. 이를 통해 제안된 방법이 얼굴 인식 시스템의 성능 향상에 유의미한 기여를 할 수 있음을 입증하였다.