Décomposition d’espace-caractéristiques

Le problème de la prédiction statistique constitue l'une des questions les plus centrales des domaines de la théorie de l'apprentissage statistique et de la statistique mathématique. L'argument de convergence uniforme est l'une des méthodes les plus fondamentales pour étudier ce problème. Ces dernières années, l'argument de convergence uniforme s'est révélé inadéquat pour étudier les estimateurs surajustés, en particulier en raison de son incapacité à expliquer le phénomène de surapprentissage bénin.Motivé par ce constat, cette thèse propose un cadre mathématique systématique pour raffiner l'argument de convergence uniforme, nommé la méthode de Décomposition d'Espace de Caractéristiques. Elle vise à étudier le phénomène de surapprentissage bénin des estimateurs d'interpolation à norme lq minimale en régression linéaire, ainsi que de l'estimateur d'interpolation à norme l2 minimale en classification linéaire. En outre, cette thèse applique la méthode à la régression ridge et, plus généralement, aux méthodes spectrales (qui incluent la descente de gradient et le flux de gradient), permettant d'obtenir des descriptions non asymptotiques et précises de leur erreur d'estimation dans presque tout problème de régression linéaire.Ces applications démontrent que la méthode permet non seulement aux statisticiens théoriciens de caractériser le risque excédentaire en population d'un estimateur, mais offre également un nouveau cadre théorique potentiel, fournissant une perspective analytique novatrice. Pour illustrer cela, nous utilisons le cadre de la méthode de Décomposition d'Espace de Caractéristiques pour définir trois concepts nouveaux : un ordre partiel sur l'ensemble des méthodes spectrales pour un problème de régression linéaire donné, un effet de saturation généralisé, et une définition mathématique de la propriété d'apprentissage de caractéristiques.Outre les implications statistiques mentionnées précédemment, cette thèse établit également une généralisation du théorème de Dvoretzky-Milman pour la norme lq sous une mesure de probabilité générale. Ce résultat, qui découle naturellement du développement de la méthode de Décomposition d'Espace de Caractéristiques, relève des aspects géométriques de l'analyse fonctionnelle.