Translation de domaines semi-supervisée

Cette thèse explore la génération multi-modale dans un contexte d'apprentissage semi-supervisé, en abordant deux défis cruciaux : la prise en charge de configurations flexibles d'entrées et de sorties à travers plusieurs domaines, et le développement d'une stratégie d'entraînement efficace des données semi-supervisées. Alors que les systèmes d'intelligence artificielle progressent, il existe un besoin croissant de modèles capables d'intégrer et de générer de manière flexible plusieurs modalités, reflétant les capacités cognitives humaines. Les systèmes d'apprentissage profond conventionnels peinent souvent lorsqu'ils s'écartent de leur configuration d'entraînement, notamment lorsque certaines modalités sont indisponibles dans les applications réelles. Par exemple, dans le domaine médical, les patients pourraient ne pas faire tous les examens possibles pour un système d'analyse complet. Obtenir un contrôle plus fin sur les modalités générées est crucial pour améliorer les capacités de génération et fournir des informations contextuelles plus riches. De plus, l'augmentation du nombre de domaines rend plus difficile l'obtention d'une supervision simultanée. Nous nous concentrons sur la translation multi-domaine dans un contexte semi-supervisé, étendant le paradigme classique de translation de domaine. Plutôt que de considérer une direction de translation spécifique ou de les limiter entre paires de domaines, nous développons des méthodes facilitant les translations entre toutes les configurations possibles de domaines. L'aspect semi-supervisé reflète des scénarios réels où une annotation complète des données est souvent infaisable ou prohibitivement coûteuse. Notre travail présente trois contributions : (1) l'étude des fonctions de régularisation pour l'espace latent avec une supervision limitée, (2) l'étude de la mise à l'échelle et de la flexibilité des modèles de translation basés sur les modèles de diffusion, et (3) l'amélioration de la vitesse de génération des modèles d'inpainting par diffusion. Premièrement, nous proposons LSM, un modèle de translation semi-supervisé exploitant des données d'entrée supplémentaires et des données de sortie structurées pour régulariser les dépendances inter-domaines et intra-domaines. Deuxièmement, nous développons MDD, un modèle semi-supervisé de translation multi-domaine basé sur la diffusion. MDD transforme la fonction de perte classique des modèles de diffusion d'une fonction de reconstruction vers une fonction de translations en modélisant différents niveaux de bruit par domaine. Le modèle exploite les domaines moins bruités pour reconstruire les domaines plus bruités, permettant de modéliser les données manquantes comme du bruit pur et d'obtenir une configuration flexible des domaines condition et cible. Enfin, nous introduisons TD-Paint, un modèle d'inpainting basé sur la diffusion améliorant la vitesse de génération et à réduire la charge de calcul associée à la génération. Notre étude révèle que les modèles d'inpainting par diffusion souffrent d'une désynchronisation entre génération et conditionnement. Les solutions existantes, reposant sur le rééchantillonnage ou des régularisations supplémentaires, augmentent la complexité computationnelle. TD-Paint résout ce problème en modélisant des niveaux de bruit variables au niveau des pixels, permettant une utilisation efficace de la condition dès le début du processus.