Replay strategies for incremental learning in fully-binary neural networks under memory constraints

L’essor des capteurs intelligents s’accompagne d’un besoin croissant de déployer des modèles d’apprentissage profond au plus près des capteurs, permettant une inférence embarquée. Cette approche réduit la latence, la consommation de bande passante et d’énergie. Pour répondre à ces exigences, typiquement quelques mégabits de mémoire et milliwatts de puissance, les modèles doivent être conçus spécifiquement pour une exécution efficace. Les réseaux de neurones binaires (BNN) apparaissent comme une solution prometteuse, en tirant parti d’une arithmétique en logique binaire, économe en mémoire et en énergie.Cependant, l’inférence proche-capteur impose aussi aux modèles de s’adapter au fil du temps, à mesure que de nouveaux concepts émergent ou évoluent durant le déploiement. L’apprentissage incrémental permet cette adaptation, en autorisant le réentraînement du modèle sur de nouvelles données tout en préservant les connaissances acquises. Parmi les techniques disponibles, les méthodes de rejeu, qui consistent à conserver ou approximer les données passées via des exemples stockés ou générés, se révèlent particulièrement efficaces. Néanmoins, l’optimisation des BNNs reste difficile en raison de leur nature non différentiable, et cette complexité est amplifiée dans le cadre des entraînements successifs exigés par l’apprentissage incrémental. Les approches de rejeu classiques entraînent un surcoût mémoire souvent incompatible avec les contraintes embarquées.Cette thèse explore dans quelle mesure les réseaux de neurones entièrement binarisés (FBNN) peuvent supporter l’apprentissage incrémental sous contraintes mémoire, et comment concevoir des mécanismes de rejeu sobres en mémoire pour rendre cela possible.Nous adoptons une méthodologie d'étude progressive, en explorant des stratégies de rejeu de plus en plus intégrées au réseau binaire pour réduire l’empreinte mémoire, du rejeu natif au rejeu latent, jusqu’au pseudo-rejeu. Nous établissons d’abord de bonnes pratiques pour l’apprentissage incrémental avec des FBNN compacts, incluant la conception d’une architecture entièrement binaire et un protocole de pré-entraînement semi-supervisé favorisant la transférabilité des représentations. Une étude approfondie de la fonction de coût est menée, ainsi qu’une comparaison du rejeu natif et latent sous contrainte mémoire. Ces travaux sont validés sur le jeu de données CIFAR100, puis étendus au benchmark CORE50, où notre FBNN de 3Mb atteint une exactitude comparable à celle de réseaux à poids réels.Sur cette base, nous proposons la méthode Generative Binary Memory (GBM), un pseudo-rejeu basé sur des modèles de mélange de Bernoulli permettant de générer des exemples binaires synthétiques à partir de prototypes compacts. Deux binariseurs étendent GBM aux réseaux non-binaires, et la méthode atteint des performances supérieures à l’état de l’art sur CIFAR100 (+2,9%) et TinyImageNet (+1,5%) avec une architecture ResNet18. Sur FBNN, GBM améliore la précision finale de +3.1% sur CORE50 tout en réduisant l’usage mémoire d’un facteur 4,7. Une variante en ligne et entièrement entière de GBM est également proposée pour permettre l’adaptation directement sur dispositif.Ce travail démontre que les FBNN, lorsqu’ils sont conçus et entraînés avec des stratégies adaptées, peuvent prendre en charge l’apprentissage incrémental tout en respectant les fortes contraintes de l’inférence embarquée. Il ouvre des perspectives concrètes pour le déploiement de systèmes d’apprentissage adaptatifs et frugaux.