Exploiter la multimodalité : les modèles de diffusion pour la modélisation générative et l'estimation d'information

L'apprentissage automatique a profondément transformé notre quotidien et le monde professionnel, en grande partie grâce à l'exploitation de vastes jeux de données alimentant des modèles de fondations, comme les grands modèles de langage. Or, ces données sont naturellement multimodales, à l'image de la perception humaine à travers nos cinq sens. La multimodalité a permis des avancées remarquables dans des applications comme la génération d'images à partir de texte, la synthèse vidéo ou les modèles vision-langage, avec des progrès notables en technologie automobile, neurosciences ou biologie. Cependant, elle soulève également des défis majeurs : l'hétérogénéité des données, la complexité des interactions entre modalités, ainsi que l'absence fréquente d'appariement, freinant leur exploitation optimale. Cette thèse propose d'abord une approche de modélisation générative capable de représenter fidèlement la structure des distributions multimodales en s'appuyant sur les modèles de diffusion. Une fois cette base établie, l'étude se concentre sur la quantification des interactions entre modalités, en développant des estimateurs robustes de mesures d'information telles que l'information mutuelle (pour deux modalités), ainsi que d'autres mesures généralisant à plusieurs modalités. Enfin, face au manque fréquent de données appariées, une méthode innovante est introduite pour construire des couplages sans appariement initial, en combinant modèles de diffusion et apprentissage par renforcement. Cette méthode vise un couplage à entropie minimale, maximisant l'information partagée entre modalités. Les contributions proposées affichent des performances prometteuses, souvent comparables ou supérieures à l'état de l'art sur plusieurs benchmarks. Elles ouvrent des perspectives concrètes, notamment en automobile, où une meilleure intégration multimodale renforce la fiabilité des systèmes. Ces résultats illustrent la portée pratique de ce travail et annoncent de futures avancées dans l'apprentissage multimodal.