Apprentissage de représentations latentes centrées sur les objets pour la reconnaissance de tâches fines dans des vidéos chirurgicales

L’analyse des vidéos chirurgicales offre un fort potentiel pour améliorer la pratique clinique,notamment pour l’évaluation des performances et l’assistance peropératoire. À mesure que larecherche progresse vers des tâches de compréhension plus fines, le développement de méthodesefficaces limitant le recours à des annotations manuelles coûteuses devient essentiel. Dans cettethèse, nous proposons un cadre unifié pour la classification fine d’images et de vidéos basé surdes représentations de graphes latents capturant les relations spatiales et temporelles entre objets. Nous introduisons également une approche de généralisation de domaine surpassant les méthodes de référence. Enfin, afin de réduire le coût d’annotation, nous intégrons le modèle de segmentation ouvert SAM à travers une stratégie originale d’adaptation few-shot. Des expériences dans différents contextes montrent les bénéfices de ce cadre pour l’analyse des vidéos chirurgicales.