Sur le manque d'expressivité des réseaux de neurones et leur résolution de manière optimale par accroissement d'architecture

Cette thèse propose une stratégie originale d'accroissement d'architecture de réseaux de neurones en un coup, c'est-à-dire qui optimise conjointement l'architecture du réseau et ses paramètres. Cette méthode s'appuie sur une nouvelle métrique appelée le Manque d'Expressivité, qui associe à un emplacement de l'architecture du réseau actuel, son incapacité à suivre sa dérivée fonctionnelle. Il est montré que cette incapacité, ou Manque d'Expressivité, peut être résolu de manière optimale par l'ajout de neurones appropriés. Ce faisant, la résolution du manque d'expressivité fournit des outils et des propriétés pour développer une architecture à partir d'un très petit nombre de neurones. Ces travaux prouve, théoriquement et empiriquement, que les techniques de croissance basées sur cette métrique convergent vers une expressivité totale, et que si le rôle du gradient fonctionnel est explicite et majeur dans l'expression du Manque d'Expressivité, il est montré que ce rôle est aussi, implicitement, important dans d'autres stratégies récentes de recherche d'architectures neuronales.