Interactive Segmentation and its Use at Scale through Concurrent Annotation and Training

L'apprentissage automatique (ML) s'appuie sur des algorithmes statistiques apprenant à partir de données pour prédire ou décider sans instructions explicites. Ces algorithmes se concrétisent dans des modèles reflétant les motifs appris. L'entraînement ajuste leurs paramètres à partir des données d'entrée. Le modèle peut alors s'appliquer à des données inédites. L'annotation fournit des étiquettes vérités terrain guidant l'entraînement. Un modèle de ML est souvent un réseau de neurones artificiels (ANN), composé de couches de neurones artificiels. L'apprentissage profond (DL), sous-ensemble du ML, mobilise des réseaux profonds plus performants, mais exigeant de plus grands ensembles de données.La demande de grands jeux de données annotées est particulièrement forte en imagerie médicale, où l'annotation précise se révèle difficile en raison de la complexité des données, de l'expertise requise et du caractère critique des prédictions. La segmentation, tâche essentielle dans l'interprétation d'images médicales, exige une délinéation au pixel près réalisée par des spécialistes — un processus chronophage et peu extensible. L'annotation en imagerie médicale soulève donc deux défis majeurs : (1) la nécessité de solutions d'annotation adaptées au contexte clinique pour accélérer l'annotation et améliorer les performances, et (2) la nécessité de systèmes dédiés à l'annotation à grande échelle afin de produire les données d'entraînement nécessaires à ces solutions.La segmentation d'images médicales peut être manuelle, automatique ou semi-automatique (interactive). Les segmentations servent souvent au diagnostic ou à des tâches ultérieures, comme la génération de modèles 3D pour la réalité augmentée (RA) chirurgicale dans ce travail. Compte tenu des enjeux élevés, les algorithmes interactifs conviennent au milieu clinique, car l'expert peut rectifier les sorties du modèle. Pour corriger efficacement, le modèle doit interpréter les retours de l'utilisateur et en déduire son intention, souvent négligée par les approches actuelles. Les systèmes d'annotation efficaces s'appuient généralement sur un prédicteur neuronal entraîné à partir de données annotées par des outils classiques, puis figé. Cette méthode est sous-optimale : (1) elle exige un grand volume de données annotées dès le départ, et (2) le prédicteur ne profite pas des annotations nouvelles. Il en résulte une dépendance circulaire, non abordée directement dans la littérature.Dans cette thèse, nous répondons à ces deux défis avec quatre contributions pour la segmentation et l'annotation, réparties en deux approches centrées sur les données et deux sur les applications. Côté données, nous présentons un nouvel ensemble FPMRI (FPMRId) et étudions sa variabilité inter-experts. Côté applications, nous proposons deux solutions clés. D'abord, un cadre général de segmentation interactive qui améliore les performances en tenant compte de la manière habituelle de segmenter. Contrairement aux méthodes existantes qui ignorent la séquence des interactions, nous introduisons une mémoire d'interactions intégrée à l'entraînement, assurant plus de précision avec moins d'interventions. Ensuite, SAIM (Single Active Interactive Model) intègre la sélection de données, l'annotation et l'entraînement au sein d'une architecture unifiée grâce à un modèle partagé. SAIM est une solution « deux-en-un » : le modèle partagé sert à la fois d'outil d'annotation et de prédicteur déployable. Il fonctionne en boucle : le modèle partagé, pré-entraîné sur quelques centaines d'images, est utilisé pour sélectionner les données à annoter, proposer des annotations et, si besoin, les corriger de manière interactive. Cette approche atténue le besoin de vastes ensembles annotés dès le départ, permettant de commencer avec peu de données, tout en améliorant progressivement le modèle et en diminuant la charge d'annotation. Bien que SAIM soit appliqué à la segmentation, il n'est pas limité à une tâche ou un domaine donné.