From Sound to Action : Deep Learning for Audio-Based Localization and Navigation in Robotics

La robotique sociale est un domaine de recherche vaste et multidisciplinaire, visant à concevoir des agents robotiques capables d’interagir efficacement.Elle traite notamment des défis posés par les interactions homme-robot, où les robots ne sont plus confinés à des environnements isolés, mais évoluent aux côtés des humains dans des contextes dynamiques et complexes.Ce domaine soulève de nombreux enjeux, notamment en perception multimodale et planification d’actions.Cette thèse explore un ensemble de tâches essentielles à la conception de robots sociaux efficaces, avec un accent particulier sur leur dimension acoustique.Plus précisément, nous étudions la localisation de sources sonores dans des contextes statiques et dynamiques, ainsi qu’une tâche de navigation robotique guidée par la perception auditive.Pour cela, nous introduisons un environnement de simulation acoustique flexible et performant.Il permet d'enregistrer virtuellement des signaux dans des pièces réverbérantes, en modélisant différentes configurations de microphones, de géométries de pièces et de sources sonores.Basé sur des bibliothèques de synthèse sonore de pointe, cet environnement constitue un espace d’expérimentation riche pour l’apprentissage et l’évaluation de nouveaux algorithmes auditifs.L’apprentissage profond a permis des avancées majeures en robotique, mais ces méthodes nécessitent de grandes quantités de données, souvent coûteuses ou difficiles à collecter dans des environnements physiques.La simulation joue ainsi un rôle clé dans la génération de données à grande échelle.Dans ce cadre virtuel, nous nous concentrons sur la perception auditive, considérée comme une capacité fondamentale.Parmi ses composantes, la localisation de sources sonores est essentielle pour les robots sociaux.Elle consiste à estimer la position d’un ou plusieurs locuteurs actifs, et repose sur une littérature scientifique riche et mature.Nous abordons ce problème sous plusieurs angles et proposons une série de méthodes fondées sur l’apprentissage profond pour en relever les principaux défis.Après une solution pour le cas à source unique, nous proposons un localisateur multi-sources plus avancé.Les deux modèles sont rigoureusement évalués au moyen d’expériences approfondies dans des conditions variées.Dans des contextes sociaux réels, les robots sont rarement immobiles.Leur mouvement introduit de nouvelles particularités dans le problème de localisation.Pour y répondre, nous étendons notre approche à des scénarios dynamiques, en tenant explicitement compte du déplacement du robot.Nous proposons une méthode d’agrégation temporelle des prédictions issues du localisateur multi-sources.Ce cadre exploite les déplacements du robot pour affiner les estimations de position des locuteurs.Le simulateur a été étendu pour générer des trajectoires complètes dans des environnements virtuels, facilitant un apprentissage et une évaluation efficaces de nos algorithmes dans ce contexte dynamique.Enfin, nous abordons l’action, second pilier des capacités robotiques.Nous appliquons des techniques d’apprentissage par renforcement profond à la navigation, afin d’améliorer la perception auditive par le mouvement.Les modèles récents de reconnaissance automatique de la parole permettent aux robots de transcrire la parole humaine avec précision, mais leurs performances peuvent se dégrader en présence de réverbération.Pour y remédier, nous introduisons une tâche de navigation guidée par la perception auditive, dans laquelle le robot apprend à se positionner pour minimiser les erreurs de reconnaissance.Les décisions de l’agent reposent uniquement sur les signaux audio captés par sa matrice de microphones.Cette dernière contribution s’appuie sur nos travaux précédents en simulation acoustique et en localisation, intégrant perception et action pour faire progresser l’intelligence auditive embarquée.