Towards an Efficient and Accurate Speech Enhancement by a Comprehensive Ablation Study

Las tareas de mejora del habla son métodos que mejoran la calidad y la inteligibilidad de las señales de audio ruidosas. Los modelos de mejora del habla se entrenan con el objetivo de distinguir entre señales limpias y ruidos, para después eliminar dichos ruidos de las señales originales. Las señales nítidas proporcionan una comunicación más sencilla y agradable. Adaptar estos modelos a tareas cotidianas no está exento de dificultades. Los modelos con los mejores resultados en cuanto a mejora del habla, no son lo suficientemente ligeros para ser utilizados en dispositivos con recursos limitados. Además, muchos modelos requieren excesivo tiempo para procesar audios ruidosos, lo que impide su uso en tiempo real. 
\n
\nRecientemente, se ha prestado especial atención a la eficiencia de los modelos de mejora del habla. Para popularizar el uso de este tipo de modelos, estos deben poderse ejecutar en dispositivos de capacidad reducida. Con ello se mejoran las prestaciones en relación a la privacidad de los usuarios. Para reducir la latencia, tamaño y operaciones de los modelos, se han desarrollado técnicas de aprendizaje profundo. Sin embargo, debido a la compensación entre eficiencia y rendimiento, sigue siendo un reto obtener modelos eficientes y con buenos resultados a nivel de mejora del habla. 
\n
\nEn este proyecto se han diseñado tres modelos eficaces de mejora del habla. Los modelos desarrollados son modelos de tiempo-frecuencia, lo que significa que se centran tanto en las características temporales como en las frecuenciales. El dominio de la frecuencia se divide en la magnitud y la fase de la señal de audio. Los tres modelos son redes generativas adversarias con una estructura codificador-decodificador en el generador y mecanismos de atención en el espacio latente. 
\n
\nDe los tres modelos, sólo uno de ellos, denominado MiniGAN, obtiene resultados competitivos. Estos resultados incluyen métricas objetivas y subjetivas utilizadas habitualmente en la mejora del habla. Dichas métricas hacen referencia a la calidad e inteligibilidad de las señales de audio mejoradas. Los tres modelos son altamente eficientes, tanto en tamaño, como en número de parámetros y operaciones. Además, algunos de ellos pueden ser utilizados en aplicaciones en tiempo real. Este proyecto contribuye al estado del arte en la mejora del habla, ya que propone modelos eficientes y competitivos. El trabajo futuro debería centrarse en mejorar las métricas de calidad e inteligibilidad obtenidas a través de los modelos.
\n
\nABSTRACT
\n
\nSpeech enhancement tasks are methods that improve the quality and intelligibility of noisy audio signals. To that end, speech enhancement models are trained to distinguish between clean signals and noises, and then remove the noises from the original signals. Enhanced signals provide easier and more pleasant communication. Adapting these models to everyday tasks is not without difficulties. The models with the best speech enhancement results are not small enough to be used in devices with limited resources. On top of that, many models require a long time to process noisy audio, which prevents their use in real time. 
\n
\nRecently, a strong focus on how to make speech enhancement models efficient has been developed. In order to extend the use of the models, they must be able to run on low-resourced devices. This improves performance in terms of user privacy. To reduce model latency, size and number of operations, deep learning techniques have been developed. However, due to the trade-off between efficiency and performance, itis still a challenge to obtain efficient models with good speech enhancement results. 
\n
\nIn this project, three efficient speech enhancement models are designed. The models developed are time-frequency models, which means that they focus both on time and frequency characteristics. The frequency domain is divided into the magnitude and phase of the signal. The three models are generative adversarial networks with an encoder-decoder structure in the generator and attention mechanisms in the latent space. 
\n
\nOf the three models, only one of them, called MiniGAN, obtains competitive results. These results comprise the objective and subjective metrics commonly used in speech enhancement. These metrics refer to the quality and intelligibility of the audio signals enhanced through the neural networks. All three models are highly efficient, both in size and in number of parameters and operations. In addition, some of them can be used in real-time applications. This project contributes to the state of the art in speech enhancement, as it proposes efficient and competitive models. Future work should focus on improving the quality and intelligibility metrics obtained from the models.