Sparsity optimization in spike neural networks for embedded event-vision processing

Cette thèse étudie les Réseaux de Neurones à Impulsion (SNN) pour le traitement de données événementielles dans des applications embarquées où les systèmes fonctionnent sous des contraintes énergétiques strictes, avec une orientation vers les applications spatiales. Si les Réseaux de Neurones Artificiels Formels (FNN) ont démontré des capacités remarquables dans le traitement de données complexes, leurs besoins énergétiques élevés limitent souvent leur utilisation dans ce type de plateformes. Le calcul neuromorphique, inspiré de l'architecture du cerveau, représente une alternative prometteuse. Le cerveau humain traite efficacement des informations complexes à environ 20W avec une densité de calcul de 0,01W/cm², contre 50-100W/cm² pour les processeurs conventionnels. Les SNN émulent cette efficacité grâce à une communication événementielle à base d'impulsions, traitant l'information de manière éparse et asynchrone. Associés à des caméras événementielles qui transmettent uniquement les variations lumineuses significatives de l'environnement, ces réseaux offrent des avantages potentiels pour les applications de traitement d'image à faible consommation avec des capacités intéressantes pour les applications spatiales. Cette thèse développe une méthodologie complète pour la conception et l'évaluation des SNN embarqués sur du matériel neuromorphique. La contribution principale vise à évaluer la faisabilité de tâches complexes comme la détection d'objets et l'estimation de pose pour applications spatiales avec des approches neuromorphiques événementielles, un domaine de recherche inexploré à ce niveau de complexité. Face à cette nouveauté, notre travail progresse méthodiquement à travers toutes les étapes d'implémentation des SNN. Nous commençons par établir une métrique indépendante du matériel pour évaluer l'efficacité énergétique des SNN par rapport aux FNN. Les résultats démontrent que les SNN peuvent atteindre une réduction énergétique de 6 à 8 fois comparée aux FNN équivalents tout en maintenant une précision comparable, l'énergie d'accès à la mémoire dominant la consommation totale. Cela fournit une base cruciale pour la conception de futures solutions. Sur cette base, nous contribuons à l'extension de QUALIA, un framework OpenSource pour concevoir, entraîner, quantifier et déployer des réseaux de neurones (FNN et SNN) sur diverses plateformes (CPU, microcontrôleur, FPGA). QUALIA comble le fossé entre les spécifications de haut niveau et les implémentations matérielles, supportant le développement de SNN basé sur PyTorch et intégrant SPLEAT, un accélérateur neuromorphique configurable sur FPGA. La chaîne d'outils est complétée par QUALIABENCH, une solution d'automatisation qui démocratise l'accès aux technologies neuromorphiques en permettant un déploiement et une évaluation systématiques des réseaux sur cible sans connaissances approfondies en matériel. Progressant des implémentations simples aux plus complexes, nous repoussons les limites des SNN sur du matériel neuromorphique. La solution de détection d'objets déployée sur la plateforme SPLEAT atteint une inférence 46% plus rapide avec une amélioration triple de l'efficacité énergétique par rapport à l'exécution sur CPU seule, démontrant la faisabilité de l'implémentation d'architectures SNN complexes sur des plateformes reconfigurables. Nous explorons également la faisabilité de deux méthodes pour l'estimation de pose pour satellites : l'estimation de pose 6D monoculaire événementielle directe et la prédiction de points-clés pour l'estimation indirecte avec une architecture type Unet. Ces applications avancées démontrent que la combinaison des SNN et des capteurs événementiels constitue une approche viable pour un traitement économe en énergie dans des environnements spatiaux contraints, avec des applications potentielles en navigation autonome, détection d'objets et surveillance de l'environnement.