Humanoid robot locomotion, footstep planning and fall resilience via reinforcement learning policies

La thèse « Locomotion, planification de pas et résistance aux chutes des robots humanoïdes via des politiques d’apprentissage par renforcement » étudie comment doter les robots humanoïdes d’une marche fiable et d’une capacité de relevage rapide après chute, sans recourir à des heuristiques ni à des trajectoires préprogrammées. Elle s’inscrit dans un enjeu central de l’autonomie robotique : permettre à des robots réels d’agir de façon robuste dans des environnements incertains et riches en contacts, tout en respectant les contraintes du calcul embarqué. Les approches fondées sur des modèles atteignent leurs limites, tandis que l’apprentissage par renforcement profond (DRL) promet des comportements généralisables issus des données. La problématique posée est : comment concevoir des politiques DRL à la fois légères, transférables de la simulation au robot réel et intégrables dans les piles de locomotion existantes ? Méthodologiquement, la thèse présente les fondements de l’apprentissage par renforcement appliqué à la robotique, puis propose deux contributions majeures, entraînées en simulation avec randomisation de domaines et validées sur des humanoïdes de petite taille. FootstepNet est un planificateur de pas acteur-critique efficace, produisant des placements de pas continus tout en anticipant le nombre de pas nécessaires pour atteindre divers objectifs locaux. Il supprime la dépendance aux ensembles discrets et aux heuristiques, fonctionne en inférence embarquée et égale ou dépasse la qualité des planifications d’ARA*, pour un coût de calcul bien moindre, validé en simulation et sur robot réel lors des RoboCup 2023 et 2025. FRASA est un agent unifié de rattrapage et de relevage : une seule politique transforme des observations proprioceptives en commandes moteurs établissant des contacts stabilisateurs avant de se relever. Exploitant l’algorithme Cross-Q et la symétrie du robot, il réduit l’entraînement à environ 30 minutes et se transfère zero-shot sur le robot réel, surpassant une référence à trajectoires préprogrammées et gérant une large variété de postures initiales. En conclusion, ces travaux montrent que des politiques DRL légères, modulaires et sûres peuvent être rendues pratiques pour le contrôle embarqué des humanoïdes, réduisant fortement les temps d’indisponibilité après perturbation et ouvrant la voie à une autonomie plus robuste en conditions réelles.