Estimation des matériaux, géométrie et sémantique à partir d'images pour la compréhension et édition de scènes

Dans cette thèse, nous explorons plusieurs approches pour la compréhension des matériaux et l'apprentissage de pré- dictions multi-tâches denses à partir d'images. La thèse est divisée en deux parties, chacune se concentrant soit sur la compréhension des matériaux, soit sur l'apprentissage multi-tâches dense. La Part I met l'accent sur la compréhen- sion des matériaux, en abordant l'extraction, la transformation et l'édition des propriétés physiques des surfaces à partir d'images. Nous présentons des méthodes pour apprendre des correspondances de matériaux dans des champs de réflectance 3D, extraire des palettes de matériaux à partir de photographies uniques par adaptation de domaine non supervisée, et effectuer des échanges de matériaux tenant compte de l'éclairage dans le domaine image. La Part II déplace l'attention vers l'apprentissage multi-tâches dense, où nous prédisons plusieurs sorties pixel-à-pixel telles que la profondeur, les normales de surface, la segmentation sémantique et les contours à partir d'un modèle unifié. Nous introduisons des mécanismes d'attention guidés par corrélation qui exploitent les relations entre tâches pour améliorer les prédictions et proposons un cadre zero-shot qui réutilise les modèles de diffusion latents pour permettre l'entraînement sur des ensembles de données synthétiques partiellement annotés tout en généralisant aux images réelles. À travers ces deux parties, nous démontrons comment les connaissances issues de la vision par ordinateur, de l'infographie et de l'apprentissage profond peuvent être combinées pour développer des méthodes pratiques qui comblent l'écart entre perception et rendu.