Contrôlabilité et efficacité dans les modèles génératifs

La compréhension et la synthèse de scène sont naturellement étroitement liée, car étant le processus inverse l'un de l'autre. Dans le cas de la compréhension, on essaye d'obtenir une description sémantique (quels types d'objets) et paramétrique (leurs propriétés) d'une scène à partir d'une image ou d'un flux vidéo, alors que dans la synthèse, on essaye de générer une image ou un flux vidéo réaliste à partir d'une description sémantique et paramétrique. Dans cette thèse, nous essayons de réaliser les deux tâches de manière conjointe en utilisant l'édition de contenu comme méthode d'entraînement de réseaux de neurones profonds réalisant analyse et synthèse. Nous nous intéressons dans un premier temps à l'édition de personnes dans un flux vidéo, par exemple en apprenant un réseau remplaçant un acteur par un autre. Afin de générer un changement réaliste, un premier réseau doit produire une analyse pertinente de la scène et un second doit utiliser ces analyses pour générer la scène modifiée. Dans un second temps, nous nous intéressons à l'édition de scènes 3D dynamiques, dans lesquelles non seulement des personnes, mais aussi des objets ou du contexte peut être modifié.