Visual representation learning and distillation across 2D and 3D tasks

L'apprentissage de représentations visuelles a connu des avancées rapides ces dernières années, portées par l'augmentation des ressources de calcul, l'évolution des architectures de modèles et le pré-entraînement à grande échelle. Toutefois, des défis majeurs persistent dans les applications concrètes, notamment l'apprentissage à partir de données annotées limitées, l'adaptation à des contraintes de calcul, et l'apprentissage de représentations visuelles au-delà des images naturelles. Cette thèse aborde ces enjeux à travers des contributions en augmentation de données, distillation de connaissances, et compréhension de scènes 3D.La première partie du manuscrit s'intéresse à l'apprentissage supervisé avec peu de données, un défi majeur en pratique où le surapprentissage peut survenir, même lors de l’adaptation de modèles préentraînés à de petits ensembles annotés. L’augmentation de données est systématiquement appliquée pour limiter ce phénomène, mais la sélection de transformations efficaces reste souvent manuelle et spécifique à la tâche. Nous proposons une approche d’optimisation bi-niveau permettant d’apprendre automatiquement des politiques d’augmentation optimales, efficaces pour la généralisation en apprentissage supervisé avec peu de données annotées.La deuxième partie du manuscrit porte sur l’apprentissage sous contraintes computationnelles. Les modèles à grande échelle, préentraînés sur des milliards d’images, présentent de fortes capacités de généralisation, mais leurs exigences en calcul et en mémoire freinent leur déploiement dans des contextes pratiques. Des techniques telles que la compression de modèles, la quantification et la distillation de connaissances visent à réduire ces contraintes. Nous étudions comment transférer les connaissances de modèles préentraînés tels que DINOv2 pour guider l’entraînement de modèles plus légers sur des tâches spécifiques. Nous montrons que les capacités de généralisation des grands modèles remettent en question les approches classiques de distillation et soulignent l’importance de transférer des connaissances spécifiques à la tâche.Enfin, l’apprentissage de représentations visuelles au-delà des images naturelles reste un défi ouvert. Les grands modèles sont principalement entraînés sur des jeux de données d’images naturelles, tandis que des domaines comme l’imagerie médicale, l’imagerie hyperspectrale ou la compréhension de scènes 3D manquent de données variées et en grande quantité. Des percées récentes en reconstruction 3D, telles que Neural Radiance Fields (NeRF) et Gaussian Splatting, permettent de modéliser finement la géométrie et l’apparence de scènes 3D à partir d’un ensemble d’images d’une même scène, mais n’intègrent pas naturellement d'information sémantique. Nous proposons LUDVIG, une approche sans apprentissage qui projette des caractéristiques sémantiques 2D issues de modèles comme DINOv2 et CLIP dans des scènes 3D construites par Gaussian Splatting.En résumé, cette thèse explore l’amélioration de la généralisation avec peu de données, via l’augmentation de données et la distillation, ainsi que l’intégration de la sémantique dans les représentations de scènes 3D.