Test-time adaptation of memory-based network for semi-automatic video object segmentation

L'objectif général de ce travail est de concevoir un système de réalité augmentée pour aider un utilisateur distant à réparer un appareil électronique. Typiquement, l'expert peut mettre en évidence certaines parties de l'appareil sur la vidéo transmise par l'utilisateur. Dans ce contexte, la segmentation semi-automatique d'objets vidéo (SVOS) semble être une option pertinente, puisque son objectif est de segmenter un objet particulier le long d'une vidéo en utilisant une segmentation manuelle de la première image. Cependant, les systèmes SVOS basés sur l'apprentissage profond ne sont pas spécifiquement adaptés à la segmentation d'objets spécifiques tels que les composants électroniques ou les parties d'appareils électroniques et doivent donc être adaptés à ce contexte spécifique. Dans ce travail, nous proposons trois contributions à l'adaptation à l'inférence des modèles SVOS. Le principe est d'affiner certaines parties sélectionnées d'un modèle SVOS modifié en utilisant uniquement la première image et son annotation. Par adaptation à l'inférence, nous entendons que pendant l'inférence, une adaptation rapide spécifique à la vidéo est effectuée pendant le traitement de la vidéo. L'un des principaux avantages de cette approche est qu'elle ne nécessite pas de réglage fin de l'ensemble du modèle, ni de nouvelles annotations ou l'utilisation de l'ensemble de données utilisé pour le modèle pré-entraîné. Nous évaluons nos contributions sur les ensembles de données standard DAVIS16 et DAVIS17.