Approches Avancées d'Apprentissage profond pour la Reconnaissance et la Génération des Mouvements de la Main en 3D

Les mains jouent un rôle fondamental dans la communication, l'interaction et la manipulation, encodant des informations sémantiques et affectives riches qui vont au-delà du langage parlé. Comprendre et générer des mouvements de main réalistes à partir de signaux visuels, linguistiques ou multimodaux est donc crucial pour des applications dans l'interaction homme-machine, la réalité virtuelle et augmentée, et l'animation numérique. Malgré les avancées récentes en apprentissage profond et en modélisation basée sur les squelettes, l'analyse du mouvement des mains reste difficile en raison de la forte dimensionnalité de l'articulation manuelle, des auto-occlusions fréquentes, de la disponibilité limitée des données, et des contraintes anatomiques strictes qui régissent les mouvements réalisables. Les recherches existantes se sont majoritairement concentrées sur la reconnaissance et la génération de mouvements corporels, en supposant souvent que les modèles conçus pour les squelettes corporels peuvent être transposés aux mains, une hypothèse qui néglige la compacité unique, la complexité cinématique et la spécificité biomécanique de la main humaine. Cette thèse fait progresser l'état de l'art à la fois dans la modélisation discriminative et générative du mouvement de la main en 3D à partir de données squelettiques grâce à cinq contributions principales : (i) nous introduisons un réseau de convolution de graphes (GCN) spatio-temporel sparse dirigé qui apprend des dépendances dirigées et éparses entre les articulations, permettant une reconnaissance des gestes anatomiquement fondée et computationnellement efficace. (ii) nous proposons une approache d'auto-encodage masqué (MAE) auto-supervisé pour le mouvement squelettique qui apprend des représentations de mouvement transférables à partir de données non étiquetées, améliorant significativement les performances de reconnaissance en aval. (iii) nous étendons ce cadre à la reconnaissance continue de gesture grâce à un MAE spatio-temporel guidé anatomiquement qui incorpore une régularisation anatomique, obtenant des résultats de pointe dans la reconnaissance de gestes en temps réel. (iv) nous abordons la génération de mouvements de la main via une architecture basée sur la diffusion qui intègre des priors anatomiques directement dans le processus génératif, produisant des mouvements de la main en 3D sémantiquement alignés et anatomiquement plausibles conditionnés par le texte et la dynamique corporelle. (v) nous présentons HandsinMotion, un ensemble de données de capture de mouvement multimodal à grande échelle, comprenant des mouvements de main bimanuels de haute fidélité synchronisés avec des annotations en langage naturel pour soutenir la génération basée sur le texte et l'analyse multimodale des gestes.