Intelligence Artificielle Économe en Énergie et en Mémoire pour l'Apprentissage Embarqué

L'apprentissage embarqué permet aux réseaux de neurones de s'adapter continuellement sur des dispositifs en edge, offrant une meilleure confidentialité, une latence réduite et une efficacité énergétique améliorée. Cependant, les ressources mémoire et computationnelles limitées posent des défis importants, en particulier durant la backpropagation. Cette thèse aborde ces verrous à travers deux approches complémentaires : la sélection stratégique de sous-réseaux pour un fine-tuning efficace et la compression de cartes d'activation pour un apprentissage économe en mémoire.La première ligne de travail introduit des méthodes dynamiques qui identifient de manière adaptative les composants importants du réseau à mettre à jour. Nous développons extbf{Tra}ining extbf{Dy}namics (TraDy), un cadre intégrant la théorie des gradients heavy-tailed pour la sélection dynamique de sous-réseaux sous contraintes mémoire strictes, et extbf{Me}mory-constrained extbf{Dy}namic Upd extbf{ate} (MeDyate), une stratégie de sélection adaptative de canaux avec stochasticité et mécanismes d'échantillonnage. La validation expérimentale démontre des performances à l'état de l'art pour le fine-tuning sous contraintes mémoire.La seconde ligne de travail traite du goulot d'étranglement mémoire des activations dans la backpropagation via la compression par décomposition tensorielle. Nous proposons une compression utilisant la High-Order Singular Value Decomposition (HOSVD) avec perte d'information contrôlée et garanties de convergence. Pour surmonter le coût computationnel de HOSVD, nous développons ASI (Activation Subspace Iteration), qui exploite la stabilité des cartes d'activation. En effectuant la sélection de rang une fois avant l'entraînement et en utilisant des itérations simples de sous-espaces avec départs à chaud, ASI atteint une réduction mémoire significative (jusqu'à 120× de compression) et une accélération (jusqu'à 91× plus rapide) tout en maintenant des performances comparables.Les contributions théoriques incluent l'analyse formelle des dynamiques de fine-tuning, des garanties de convergence pour l'entraînement avec activations compressées, et l'analyse de complexité des méthodes de décomposition tensorielle. Une validation extensive sur diverses architectures, jeux de données, et scénarios réels incluant des implémentations sur Raspberry Pi démontre l'efficacité pratique.