Estimation de la distribution de la pose d'un objet à 6 degrés de liberté à partir d'une seule image RGB et du modèle 3D de l'objet

L’estimation de la pose d’objet à six degrés de liberté (6DoF) est essentielle pour de nombreuses applications, comme la préhension et la manipulation robotiques, la réalité augmentée ou la navigation autonome. Bien que les méthodes actuelles aient atteint des performances remarquables, la majorité des approches se limitent à prédire une seule pose. Cette formulation est toutefois inadaptée aux situations réelles, où les symétries, les occlusions, le bruit des capteurs ou des conditions d'éclairage dégradées introduisent une ambiguïté visuelle, rendant plusieurs poses plausibles pour expliquer la même image. De plus, si la généralisation à des objets non observés a été largement étudiée dans le cadre de l'estimation d'une pose unique, son extension à l'estimation de distributions de pose reste, à ce jour, inexplorée. Une autre limite réside dans les jeux de données et les métriques d'évaluation actuels, qui supposent que les symétries des objets sont indépendantes de l'image. En pratique, ces symétries dépendent du point de vue, des occlusions et de la résolution de l'image. Les ignorer peut conduire à des évaluations erronées. Enfin, il n'existe pas d'outil unifié permettant de comparer équitablement les méthodes d'estimation de distributions de pose à l'aide de métriques communes et de vérités terrain fiables. Cette thèse aborde ces défis en se concentrant sur l'estimation de la distribution de la pose 6D d'objets rigides à partir d'une seule image RGB, en supposant que des modèles 3D précis sont disponibles. La première contribution est BOP-Distrib, une approche qui génère automatiquement, pour chaque image, une vérité terrain de la distribution de la pose 6D et adapte les métriques d’évaluation. Contrairement aux benchmarks existants, BOP-Distrib produit des annotations spécifiques à l'image, tenant compte des symétries et occlusions, ce qui conduit à des vérités terrain plus fiables. De plus, la réévaluation des méthodes d’estimation d’une seule pose avec BOP-Distrib modifie significativement leur classement, révélant leur sensibilité aux symétries, un aspect jusque-là masqué par les benchmarks existants. La deuxième contribution est Corr2Distrib, la première approche indirecte pour l'estimation de distributions de pose 6D, qui atteint des performances à l'état de l'art. Cette méthode associe à chaque point de surface 3D de l'objet un descripteur et un repère local, entraînés pour refléter les symétries. Grâce à cette conception, les correspondances 2D–3D ambiguës, traditionnellement un obstacle pour les méthodes PnP, peuvent être exploitées directement : chaque correspondance génère une hypothèse de rotation valide. En regroupant les correspondances consistentes produisant des rotations identiques, l'algorithme PnP peut être appliqué efficacement à chaque groupe. De cette manière, Corr2Distrib reconstitue l'ensemble des poses formant la distribution, sans nécessiter de recherche combinatoire. La dernière contribution est ZeroDistrib, une extension de Corr2Distrib conçue pour les objets non observés durant l'apprentissage. Contrairement à Corr2Distrib, où les descripteurs et repères locaux sont spécifiques aux objets, ZeroDistrib exploite des modèles fondamentaux tels que DINOv2 pour apprendre des représentations en zero-shot capables de généraliser au-delà de l'ensemble d'entraînement. Lors de l'inférence, et à partir du modèle CAO d'un nouvel objet, une étape rapide d'onboarding transfère ces représentations sur sa surface 3D, permettant ainsi l'estimation d'une distribution de la pose à partir de correspondances 2D-3D sans réentraînement spécifique. Des expériences préliminaires sont présentées afin de valider certains composants de la méthode et d’en démontrer sa faisabilité. Une implémentation complète et une évaluation à grande échelle sont prévues pour des travaux futurs, au-delà du périmètre de cette thèse.