Ambiguïté et invariance dans l'écoute automatique

L’écoute automatique est un domaine en plein essor, avec de nombreuses applications industrielles : Sécurité (surveillance audio), santé (diagnostic basé sur le son), transport (conduite autonome), industrie manufacturière (maintenance prédictive) et bioacoustique (suivi d’écosystèmes). Il couvre un large éventail de tâches d’intérêt et pratique : détection d’évènements sonores, localisation de sources, séparation de la parole...Dans cette thèse, nous nous concentrons sur deux défis majeurs. Premièrement, le manque de données d’entraînement limite l’efficacité des réseaux neuronaux typiquement utilisés pour ces tâches. Deuxièmement, de nombreuses tâches sont ambigües, c’est-à-dire que la relation entrée-cible n’est pas déterministe, ce qui remet en cause l’usage de modèles à prédiction unique. Pour pallier le manque de données, nous utilisons une approche semi-supervisée pénalisant les variations du modèle dans le voisinage des données et favorisant l’apprentissage d’invariants. Cette approche améliore l’efficacité en données et la généralisation. En prenant la détection d’événements sonores comme cas d’étude, nous analysons l’impact de différents types d’augmentations, de leur intensité, ainsi que de la couche du réseau sur laquelle la pénalisation est appliquée. Afin de traiter l’ambigüité, nous utilisons l’apprentissage multi-hypothèse (MCL), une méthode qui entraîne un réseau multi-tête à produire un petit ensemble de prédictions plausibles et diverses, grâce à un objectif compétitif favorisant leur différenciation. Nous étudions son efficacité pour l’écoute automatique en nous attaquant à deux limitations majeures. Premièrement, MCL souffre de l’inactivité de certaines hypothèses. Nous introduisons le recuit simulé pour y remédier, en fournissant un gradient aux têtes inactives et en guidant l’optimisation. Deuxièmement, nous étendons les prédictions discrètes de MCL pour construire un estimateur Non-épars de la distribution cible. Nous prouvons que des estimateurs basés sur des noyaux tronqués convergent vers la distribution cible lorsque le nombre de prédictions augmente. Nous démontrons l’efficacité de ces méthodes en séparation de la parole.