Stabilisation et contrôle des systèmes dynamiques : des méthodes classiques à l’apprentissage par renforcement

Cette thèse explore l'application de l'apprentissage par renforcement (RL) et de la théorie du contrôle dans plusieurs systèmes évolutifs tels que la stabilisation du trafic, la lutte antiparasitaire et la dynamique des fluides. Elle commence par une investigation théorique sur la stabilité du système de Saint-Venant avec un terme de viscosité ajouté, construisant une fonction de Lyapunov quadratique pour démontrer la stabilité exponentielle du système linéarisé visqueux sous un contrôle aux frontières approprié. La fonction de Lyapunov optimale dans le cas non visqueux ne s'étend pas au système avec viscosité, d'où la nécessité d'en construire une nouvelle. Cela contribue à la compréhension du comportement des flux réels, où la viscosité est omniprésente. La thèse passe ensuite à la recherche appliquée en RL, en se concentrant sur la lutte biologique contre les nuisibles en utilisant la Technique de l'Insectes Stérile. Ici, le RL est utilisé pour entraîner un réseau de neurones à stabiliser les populations de moustiques en déterminant le taux de lâcher optimal d'insectes stériles. Une analyse mathématique s'ensuit, aboutissant à une loi de contrôle simplifiée et explicite dérivée du modèle entraîné par RL, constituant une approche innovante pour dériver des contrôles mathématiques pour des problèmes complexes avec des observations limitées en utilisant des méthodes basées sur les réseaux neuronaux. Enfin, une partie significative de cette dissertation étudie le potentiel du RL dans la stabilisation du trafic, en particulier dans la réduction de la consommation de carburant et des émissions de CO2 sur les autoroutes en atténuant les ondes d'arrêt-démarrage. En collaboration avec le consortium CIRCLES, ce travail développe des contrôleurs RL pour les véhicules autonomes (AV) afin de stabiliser le flux de trafic, menant à des améliorations substantielles en matière d'efficacité énergétique, d'émissions et de sécurité. La thèse démontre que même une petite proportion d'AV contrôlés par RL peut lisser les perturbations du trafic. Les contrôleurs sont conçus et entraînés en simulation en utilisant des algorithmes RL, puis validés dans des simulations à grande échelle et des déploiements réels lors de l'expérience MegaVanderTest, un test sur le terrain massif de 100 AV dans un trafic autoroutier dense en conditions réelles. Ce déploiement à grande échelle est le premier du genre, appliquant avec succès le RL aux conditions réelles du trafic et offrant des résultats prometteurs en matière d'économies d'énergie et d'amélioration du flux de trafic. Dans l'ensemble, ce travail met en évidence la polyvalence du RL dans la résolution de problèmes complexes du monde réel, de l'optimisation du trafic à la lutte biologique, repoussant les limites des méthodologies de contrôle théoriques et appliquées.