Alternative Formulations in Robust Reinforcement Learning

La thèse, intitulée « Formulations alternatives en apprentissage par renforcementrobuste », explore de nouvelles approches pour surmonter les limitations des méthodes classiques d’apprentissage par renforcement robuste (RL). Les méthodes classiques de RL robuste supposent une indépendance des probabilités de transitionentre les états et les actions, ce qui conduit à des politiques excessivement conservatrices. Cela engendre des performances sous-optimales dans des conditionsmoyennes, car ces méthodes cherchent à résoudre des problèmes irréalistes impliquant des dynamiques improbables. De telles limitations freinent leur déploiementefficace dans des environnements réels où l’adaptabilité et la fiabilité sont essentielles.Cette recherche apporte trois contributions principales. Premièrement, elle introduit la Robust Reinforcement Learning Suite (RRLS), un cadre standardisé pourl’évaluation des algorithmes de RL robuste. RRLS permet des évaluations reproductibles dans des conditions variées, mettant en évidence les limites des méthodesexistantes et encourageant leur amélioration. Deuxièmement, la thèse propose unenouvelle formulation pour le RL robuste, appelée Incremental Worst-Case Search(IWOCS). IWOCS développe progressivement des politiques robustes en résolvantune série de problèmes plus simples, garantissant à la fois une robustesse au pire caset de solides performances moyennes. Troisièmement, elle présente les Processusde décision markoviens robustes contraints par le temps (TC-RMDPs), un cadrepermettant de modéliser des perturbations réalistes. Les TC-RMDPs limitentl’évolution temporelle des incertitudes, réduisant ainsi le conservatisme excessiftout en maintenant la robustesse.Ces contributions répondent aux principales limitations des méthodes classiquesde RL robuste et fournissent des solutions pratiques et évolutives pour déployer le RL dans des environnements réels complexes.