Model-based approaches and reinforcement learning for robust and autonomous locomotion of humanoid robots in dynamic contexts

Cette thèse s’inscrit dans une période d’essor sans précédent de la robotique humanoïde, portée à la fois par des avancées technologiques rapides et par un engouement croissant des acteurs privés et du grand public. Dans un tel contexte, les progrès récents en matière de motricité des robots humanoïdes ainsi que leur acceptation sociale grandissante semblent annoncer leur prochaine intégration dans des environnements réels aux côtés des humains. Face à cette ambition, un défi majeur demeure : assurer la robustesse et l’autonomie de la locomotion dans les contextes dynamiques où ces robots seront amenés à évoluer. Pour y répondre, ce travail combine modélisation physique et apprentissage par renforcement, en exploitant les avantages complémentaires de ces deux paradigmes – les garanties de stabilité offertes par la modélisation et la capacité d’adaptation issue de l’apprentissage. Ce manuscrit débute par un état de l’art des méthodes de contrôle et d’apprentissage appliquées à la locomotion humanoïde, destiné à identifier les approches les plus prometteuses pour concilier robustesse, adaptabilité et réalisme dynamique. Sur ces fondations, le logiciel PlaCo, dédié à la planification de mouvement et au contrôle de robots, est développé. Il vise à abstraire la complexité des formulations d’optimisation nécessaires à la génération de trajectoires, tout en maintenant des performances compatibles avec une exécution en temps réel. Ce cadre est ensuite exploité pour concevoir et déployer sur le robot humanoïde Sigmaban un contrôleur de marche fondé sur le modèle du pendule inversé linéaire (LIPM). Ce développement met en évidence la capacité de ce modèle à produire des trajectoires cohérentes en temps réel, tout en révélant les limites pratiques rencontrées sur plateforme réelle. Afin de surmonter ces limitations et de permettre une adaptation dynamique aux perturbations, un agent d’apprentissage par renforcement dédié à la récupération en cas de chute est développé. Entraîné en simulation, cet agent est transféré avec succès sur le robot réel, démontrant un gain significatif en autonomie. La difficulté de ce transfert met néanmoins en évidence la problématique centrale de l’écart entre environnements simulé et réel. Cette observation conduit à chercher comment minimiser cet écart en améliorant la fidélité de la simulation. Une étude approfondie des phénomènes de friction dans les servo-actionneurs est menée, montrant comment une prise en compte plus fine de ces phénomènes améliore la qualité de la simulation et des transferts de politiques.