Agentification sensible au contexte des comportements piétons à partir des méthodes deep novatrices appliquées à des données vidéo et 3D

La prédiction de trajectoires de piétons a suscité une attention croissante en raison de son importance dans des applications telles que les véhicules autonomes et les systèmes de surveillance urbaine. L'objectif de cette thèse est de développer des modèles innovants pour prédire les trajectoires des piétons en se basant principalement sur des données vidéo et 3D acquises notamment dans des zones de conflit, c'est-à-dire des zones où les voies de circulation sont partagées entre piétons et autres usagers. Tout d'abord, nous introduisons un modèle basé sur l'attention qui exploite le contexte dynamique de la scène et un réseau bimodal de transformateurs pour améliorer la modélisation des interactions spatio-temporelles. Pour relever le défi complexe de la prédiction des mouvements humains en 3D, nous proposons un nouveau modèle capable de prédire les poses squelettiques en 3D à partir d'observations en 2D. Cette approche utilise une architecture encodeur-décodeur, combinant des réseaux de transformateurs et des LSTM pour modéliser efficacement le mouvement humain. Nous étendons ensuite notre modèle pour prédire les trajectoires de plusieurs piétons en intégrant des réseaux adversariaux génératifs (GAN) avec des techniques de prédiction de séquences, en incorporant à la fois les interactions sociales et le contexte environnemental. De plus, nous présentons un framework robuste pour représenter les poses des piétons dans l'espace géométrique pour la prédiction des mouvements humains en 3D. Cela implique l'exploration de modèles d'attention géométrique pour fournir des insights plus profonds sur les relations spatiales et la prédiction des mouvements. Nos modèles proposés, le Motion-Lie Transformer et le Kendall Manifold Transformer, utilisent respectivement des représentations d'algèbre de Lie et des techniques d'apprentissage profond sensibles à la géométrie. Des expériences approfondies menées sur plusieurs ensembles de données publiques démontrent que nos modèles surpassent les méthodes traditionnelles de prédiction de trajectoires et d'estimation de poses, même dans des scénarios très denses. De plus, l'approche peut être intégrée dans les systèmes de conduite autonome pour améliorer la sécurité des piétons en améliorant la prédiction des mouvements futurs. Enfin, cette thèse examine les limitations actuelles de la prédiction de trajectoires/mouvement dans les environnements urbains et propose des améliorations potentielles pour aborder des scénarios plus complexes, y compris le comportement imprévisible des piétons.