Miser sur la parcimonie : exploitation des dépendances linéaires cachées via la régularisation pour l’apprentissage supervisé

Nous considérons le problème de l’apprentissage supervisé lorsqu’il existe des structures de données cachées, en nous concentrant sur les cas où quelques caractéristiques linéaires pertinentes expliquent la relation entre la réponse et les covariables, comme dans le modèle “multi-index”. Notre objectif est de développer des méthodes qui exploitent ces structures cachées pour améliorer l’apprentissage. De nombreuses approches existantes reposent sur des hypothèses fortes concernant la génération de données et se heurtent à la malédiction de la dimensionnalité, présentant souvent une dépendance exponentielle en la dimension des données. Nous explorons les modèles “multi-index” en utilisant la minimisation du risque empirique régularisé (ERM), car ce cadre flexible est applicable à tout problème pour lequel un risque peut être défini. Tout au long de cette thèse, nous explorons trois méthodes innovantes pour simultanément apprendre les caractéristiques et estimer la fonction de prédiction dans un contexte non-paramétrique. Chaque méthode intègre des éléments des espaces de Hilbert à noyau reproduisant (RKHS), contient des pénalités d’apprentissage des caractéristiques qui sont adaptables à la sélection de variables, utilise des procédures d’optimisation basées sur la repondération pour un calcul efficace et s’appuie sur des hypothèses limitées sur le mécanisme de génération des données. Nous avons veillé à la facilité d’utilisation du code développé et à la reproductibilité des expériences. La première méthode, KTNGRAD, considère l’ERM dans un RKHS avec une pénalité de norme nucléaire sur la matrice empirique des gradients. L’analyse théorique montre que KTNGRAD a des taux de convergence pour le risque attendu dans les contextes bien spécifiés qui ne dépendent pas exponentiellement de la dimension, tout en estimant l’espace des caractéristiques pertinentes d’une manière sûre. La deuxième méthode, REGFEAL, exploite les propriétés d’orthogonalité et d’invariance par rotation des polynômes de Hermite. Cette méthode fait pivoter les données de manière itérative pour les aligner avec les caractériques. Le risque attendu converge vers le risque minimal avec des taux explicites, sans hypothèses fortes sur la véritable fonction de régression. Enfin, la troisième méthode, BKERNN, introduit un nouveau modèle qui combine les méthodes à noyaux et les réseaux de neurones. Cette méthode optimise les poids de la première couche par descente de gradient tout en ajustant explicitement la non-linéarité et les poids de la deuxième couche. L’optimisation tire parti de l’homogénéité positive du noyau Brownien, et l’analyse de la complexité de Rademacher montre que le risque attendu de BKERNN atteint des taux de convergence favorables qui sont indépendants de la dimension, sans hypothèses fortes sur la véritable fonction de régression ou sur les données.