Modèles Vision et Langage multimodaux de fondation

Ces dernières années, les grands modèles de langage (LLMs) ont montré des performances remarquables sur des tâches variées et ont commencé à être largement intégrés dans diverses applications. Les modèles vision-langage (VLMs), qui étendent les LLMs en incorporant en plus la compréhension d'images, offrent un potentiel supplémentaire. Ces modèles pourraient transformer des domaines tels que le développement web en traduisant des captures d'écran de pages web en code, faciliter la recherche d'informations via une navigation web autonome, et automatiser des tâches comme la classification et la synthèse de documents dans des contextes professionnels. Cependant, malgré l'intérêt croissant pour les VLMs, leur développement en est encore à ses débuts, et de nombreux aspects clés du processus de création de ces modèles manquent de consensus parmi les chercheurs. Cette thèse vise à améliorer les capacités des VLMs en augmentant à la fois leurs performances sur des benchmarks académiques et en explorant leurs applications à des problèmes réels. L'accent est mis sur le développement d'un modèle VLM fondamental, capable de gérer une large gamme de tâches sans se spécialiser sur une seule.Le développement de VLMs grands et efficaces nécessite l'accès à des ensembles de données de pré-entraînement vastes, diversifiés et de haute qualité. Ainsi, cette thèse commence par introduire OBELICS, un ensemble de données ouvertes à l'échelle du web composé de documents image-texte imbriqués, qui a fait l'objet d'un filtrage rigoureux. Nous décrivons le processus de création de cet ensemble de données, présentons les règles de filtrage, et fournissons une analyse du contenu des données. Pour valider OBELICS, nous avons entraîné un VLM de 80 milliards de paramètres, nommé Idefics1, qui atteint des performances compétitives par rapport aux meilleurs modèles propriétaires au moment de son développement. Ensuite, nous étudions la conception architecturale des VLMs, en menant une série d'expériences sur des modèles pré-entraînés, des choix d'architecture et des méthodes d'entraînement. Les résultats de ces expériences ont permis le développement d'Idefics2, un VLM de 8 milliards de paramètres qui démontre des bonnes performances sur plusieurs benchmarks multimodaux au moment de sa sortie. Enfin, nous offrons un aperçu complet des avancées les plus récentes dans la recherche sur les VLMs, en soulignant les forces et faiblesses de chacune, en abordant les principaux défis du domaine, et en suggérant des directions de recherche prometteuses pour des zones encore peu explorées. Sur la base de cette analyse, nous avons développé Idefics3, un VLM qui surpasse les performances de son prédécesseur, Idefics2, avec des améliorations notables dans la compréhension de documents grâce à la création d'ensembles de données spécialisés.