On-Device Speech Separation Method Utilizing Registered Speaker Embeddings

본 연구는 다중 화자 환경에서 등록된 화자의 음성만을 실시간으로 분리하는 온디바이스 음성 분리 방법을 제안한다. 또한 온디바이스 음성 분리 시스템에 적합한 임베딩 벡터 및 음성 분리 모델을 선정하기 위한 비교 분석을 수행한다. 제안된 시스템은 사용자 등록 모듈, 음성 분리 모듈, 검증 및 전송 모듈, 그리고 Transmission Control Protocol 기반의 Interface Definition Language 세션 전송 구조로 구성된다. 음성 분리 시스템에 적합한 방법 선정을 위해 화자 임베딩에서는 Mel-Frequency Cepstral Coefficients, x-vector, d-vector를 비교하고, 음성 분리에서는 Conv-TasNet, DPRNN-TasNet, and SepFormer를 비교하였다. 다양한 화자 조합 및 소음 환경에서 실험한 결과, x-vector는 평균 88.89%의 높은 화자 검증 정확도를 기록하였고, Conv-TasNet은 음성 명료도, 신호 보존, 처리 속도 측면에서 가장 우수한 성능을 보였다. 본 연구는 다중 사용자 환경에서의 실시간 음성 분리에 있어 온디바이스 기반 음성 분리 시스템의 효율성과 실용 가능성을 확인하였다.