Algorithmes de réseaux de neurones pour traiter les étiquettes limitées, les imperfections des dispositifs et la cohérence écriture/lecture lors du calcul en mémoire

Cette thèse explore le développement d'algorithmes pour l'apprentissage en périphérie (on-edge) à l'aide de matériel de calcul en mémoire — une approche prometteuse pour répondre aux besoins énergétiques croissants et aux préoccupations de confidentialité posés par l'entraînement traditionnel de l'IA. Le calcul en mémoire, notamment avec du matériel à base de memristors, améliore l'efficacité énergétique en intégrant mémoire et calcul afin de réduire les transferts de données. Cependant, cette approche nécessite de nouveaux algorithmes capables de fonctionner sous contraintes matérielles et avec des données étiquetées limitées. De plus, les algorithmes doivent prendre en compte les caractéristiques non idéales des memristors.Ce travail traite trois défis principaux : l'apprentissage efficace à partir de données étiquetées et non étiquetées, la prise en compte des comportements non idéaux des memristors dans le processus d'apprentissage, et l'unification des opérations de lecture/écriture afin de simplifier la conception matérielle.Pour relever le premier défi, nous avons développé une méthode d'apprentissage non supervisé simple et économe en ressources, définissant une cible non supervisée à partir de la sortie actuelle du modèle. Cette méthode est compatible avec tout algorithme de gradient de bout en bout. Nous la validons à l'aide de la rétropropagation (Backpropagation) avec une mise à jour globale, ainsi que de la propagation à l'équilibre (Equilibrium Propagation) avec une mise à jour locale, et démontrons son efficacité sur des jeux de données tels que MNIST, Fashion-MNIST, SVHN et CIFAR-10. Nous intégrons également cette méthode à l'apprentissage supervisé en substituant l'étiquette supervisée par une version générée de manière non supervisée, permettant un apprentissage semi-supervisé efficace sans matériel supplémentaire. Des expériences menées avec des MLP sur MNIST, dans différents contextes de rareté des étiquettes, mettent en évidence l'efficacité de notre approche en conditions de données restreintes.Pour traiter les caractéristiques non idéales des memristors, nous modélisons trois défauts courants lors des écritures : les écritures non linéaires, la variabilité des dispositifs, et le bruit — tous exprimés comme des fonctions des gradients. Nous simulons leurs effets individuels sur l'apprentissage avec BP et EP, montrant que, bien qu'une dégradation des performances soit inévitable, elle peut être atténuée par un ajustement des hyperparamètres.Enfin, nous proposons une approache novatrice appelée réseau à synapses dynamiques. Dans ce modèle, les poids synaptiques sont continuellement mis à jour pour rendre les processus de lecture et d'écriture quasi identiques. Chaque synapse contient une mémoire volatile (court terme) et non volatile (long terme). Pendant l'inférence, l'état volatile évolue avec l'activité neuronale ; pendant l'apprentissage, la partie non volatile est mise à jour de la même manière. Cette cohérence réduit la complexité des circuits de contrôle et la surcharge mémoire. Ce cadre pourrait être implémenté avec des memristors d'ordre supérieur dans le matériel futur.Dans l'ensemble, ce travail fait progresser les stratégies algorithmiques pour un apprentissage en mémoire efficace en périphérie, et pose les bases de systèmes d'IA évolutifs, peu énergivores et respectueux de la vie privée.