Apprentissage des sémantiques et de la géométrie pour la compréhension des scènes

Dans cette thèse, nous explorons plusieurs approches pour l'apprentissage des informations sémantiques et géométriques en 2D/3D à partir de nuages de points 3D et d'images 2D. La thèse est divisée en trois parties, chacune se concentrant sur l'apprentissage des aspects sémantiques, géométriques, ou les deux. Part 1 met l'accent sur l'apprentissage sémantique, en utilisant l'apprentissage contrastif et l'apprentissage par prototypes pour améliorer la compréhension sémantique des nuages de points avec une annotation limitée et des images sans étiquettes, en s'appuyant sur des données synthétiques.Part 2 se concentre sur l'apprentissage géométrique, en étendant les méthodes basées sur NeRF pour la reconstruction 3D à grande échelle de scènes complexes de manière auto-supervisée. Dans part 3, l'accent est mis sur la tâche complexe d'apprentissage simultané des informations sémantiques et géométriques, en exploitant la tâche de Complétion de Scène Sémantique (CSS). Nous élargissons d'abord les applications de la CSS en permettant une entrée monoculaire et proposons la Complétion de Scène Panoptique, qui fait progresser la CSS en prédisant des instances pour fournir des détails sémantiques plus fins. De plus, nous introduisons une méthode efficace d'estimation d'incertitude basée sur un ensemble pour évaluer la fiabilité des prédictions, comblant ainsi une lacune clé dans la littérature sur la CSS et ouvrant la voie à un déploiement sécurisé de cette tâche dans des applications du monde réel.