Apprentissage de la manipulation agile à partir de l'interaction 3D entre la main et l'objet

Dans cette thèse, nous approfondissons la compréhension des mouvements des mains en 3D et des interactions mainobjet dans les vidéos monoculaires. Nous montrons comment ces connaissances peuvent doter les robots de capacités de manipulation dextres semblables à celles des humains. Notre approche permet des reconstructions 3D denses des mains et des objets, capturant leurs interactions détaillées tout en maintenant une vitesse d’inférence rapide. Nous étudions comment exploiter ces résultats de reconstruction 3D pour transférer les compétences de manipulation humaine aux mains robotiques multi-doigts grâce à l’apprentissage par renforcement guidé par trajectoire et l’apprentissage par imitation basé sur la vision. En connectant efficacement la capture de mouvement visuelle avec l’exécution robotique, notre travail crée de nouvelles opportunités pour la collaboration homme-robot. Nos contributions sont structurées en quatre domaines clés : Premièrement, nous proposons un cadre d’apprentissage conjoint pour la reconstruction 3D des mains et des objets en utilisant des fonctions de distance signée (SDF). Cette méthode génère des maillages à haute résolution et capture les interactions détaillées main-objet. Deuxièmement, pour améliorer l’alignement entre la forme 3D reconstruite et ses poses sous-jacentes, nous exploitons les structures cinématiques de la main pour guider la reconstruction basée sur SDF, ce qui aide à améliorer les caractéristiques visuelles et à augmenter la robustesse face aux occlusions. Troisièmement, bien que les méthodes basées sur SDF donnent des résultats prometteurs, elles sont coûteuses en calcul et produisent souvent des surfaces trop lisses. Pour résoudre ce problème, nous introduisons une nouvelle approche basée sur les transformers pour reconstruire des nuages de points denses d’objets tenus à la main, réalisant des reconstructions 3D de haute qualité avec une vitesse d’inférence rapide. Enfin, bien que les systèmes de vision produisent des configurations 3D main-objet visuellement plausibles, ces configurations peuvent ne pas toujours être physiquement plausibles, ce qui les rend moins utiles pour l’apprentissage robotique. Pour résoudre ce problème, nous développons ViViDex et utilisons d’abord l’apprentissage par renforcement pour affiner ces configurations bruitées. Ensuite, nous appliquons l’apprentissage par imitation pour entraîner une politique unifiée basée sur la vision à partir de trajectoires affinées. En conséquence, ViViDex génère des séquences de manipulation naturelles et démontre des performances supérieures dans trois tâches de manipulation dextre.