Apprentissage auto-supervisé de représentations audio pour applications musicales

L'objectif de cette thèse est de proposer de nouveaux paradigmes pour entraîner des réseaux neuronaux profonds à produire des représentations audio adaptées à diverses applications musicales, avec un accent particulier sur les approches d'apprentissage auto-supervisé (SSL).Dans notre premier travail, nous nous concentrons sur la tâche d'estimation de la hauteur dans le cas monophonique. Nous abordons cette tâche en entraînant une architecture siamoise sur des paires de trames de transformées à Q constant transposées. Le réseau est entraîné avec un critère d'équivariance basé sur des classes, en utilisant le décalage (connu) entre les trames comme signal de supervision. Cette stratégie permet à notre modèle de prédire directement des distributions de hauteurs de manière entièrement auto-supervisée, sans accès à des données annotées. Bien que très léger (30k paramètres), notre modèle surpasse largement les précédentes méthodes auto-supervisées et rivalise avec les modèles supervisés.Nous explorons ensuite le paradigme des architectures prédictives à embedding conjoint (Joint-Embedding Predictive Architectures, JEPA) pour des applications liées à la musique. À partir de paires contexte/cible données, un encodeur et un prédicteur sont conjointement entraînés pour produire des représentations latentes de ces paires et prédire les représentations cibles à partir de celles du contexte. Contrairement à l'apprentissage contrastif, les JEPAs ne nécessitent pas d'exemples négatifs et peuvent apprendre un espace latent plus riche grâce au prédicteur. En utilisant les différentes sources de pistes musicales comme paires contexte/cible, nous montrons que ces architectures peuvent capturer des caractéristiques musicales à la fois locales et globales, les rendant utiles pour diverses tâches telles que l'estimation de compatibilité, la recherche de stems musicaux, l'alignement de pistes, la classification de genres, l'auto-étiquetage et le beat-tracking.