Apprentissage de problèmes inverses en acoustique musicale

La production sonore dans le monde physique implique un résonateur et un excitateur, tels que le corps d’un instrument et un musicien. Décoder et démêler les effets de ces éléments permet une analyse plus précise des performances musicales expressives et ouvre la voie à la conception d’instruments de musique numériques plus ergonomiques. En général, le décodage du timbre en informations physiquesnécessite soit la présence d’un modèle physique, soit des preuves d’interaction entre le musicien et l’instrument acquises dans le monde réel. Le premier, un modèle idéal, ne tient pas compte des écarts par rapport à la réalité, tandis que le second exige un effort considérable pour l’acquisition et l’annotation des données. Cette thèse combine ces deux approches et examine dans quelle mesure la « physicalité » est implicite dans un son instrumental. Trois contributions sont présentées, chacune utilisant des données à différents niveaux de réalisme : des simulations basées sur un modèle physique, des performances artificielles enregistrées dans des environnements contrôlés, et des performances humaines. La première contribution vise à estimer les paramètres physiques liés à la fabrication d’instruments à partir de sons synthétiques de percussions. Elle propose une méthode innovante pour accélérer une fonction de perte perceptuellement pertinente dans l’entraînement de réseaux neuronaux. La deuxième contribution se concentre sur l’extraction des paramètres physiques de sons de cordes pincées enregistrés par un joueur artificiel en laboratoire. Elle aborde le problème dutransfert de connaissances obtenues par simulation vers le monde réel dans un contexte de données limitées. La troisième et dernière contribution commence par l’enregistrement d’un ensemble de données audiovisuelles de techniques isolées de jeu du guqin. Elle présente ensuite une étude de cas visant à identifier computationnellement les corrélations entre les gestes et les sons. Ensemble,ces trois travaux mettent en évidence les défis distincts rencontrés et les approches sur mesure développées pour aborder le problème de l’extraction de la physicalité des sons.