Analysis of multimodal data recorded during videoconferences

La vidéo est devenue un média central dans l’enseignement d’aujourd’hui, et les vidéos de cours jouent un rôle croissant dans la diffusion des savoirs. Leur évolution, depuis les enregistrements bruts de cours en salle jusqu’aux contenus structurés et professionnels des MOOCs, témoigne de transformations profondes dans les pratiques pédagogiques et les infrastructures numériques. Malgré leur importance croissante, les vidéos de cours posent encore des défis en termes d’accessibilité, de navigation et d’engagement, en particulier en raison de leur nature multimodale, combinant informations visuelles, sonores et textuelles.Cette thèse explore comment l’analyse multimodale peut améliorer l’utilisabilité et la valeur pédagogique des vidéos de cours. Elle s’appuie sur les avancées récentes de l’apprentissage profond, notamment les modèles de type transformer, pour développer de nouvelles méthodes d’analyse et de segmentation du contenu vidéo éducatif. Deux contributions techniques principales sont proposées.La première est un outil de génération de jeux de données synthétiques de diapositives avec des annotations détaillées et cohérentes. Les bases de données existantes présentent de nombreuses limites : annotations incomplètes, classes ambiguës, et manque d’homogénéité. L’outil permet de créer des jeux de données diversifiés, équilibrés et proches des présentations réelles, tout en réduisant le besoin d’annotation manuelle. L’outil offre également la possibilité de personnaliser les classes et les styles, facilitant la constitution de corpus standardisés adaptés à des besoins spécifiques et améliorant ainsi la fiabilité de l’apprentissage automatique pour l’analyse de diapositives.La seconde contribution concerne la segmentation temporelle des vidéos de cours basé sur des représentations multimodales. Cette méthode aligne les caractéristiques visuelles extraites des images vidéo, le texte issu de l’OCR sur les diapositives, et les transcriptions audio, à l’aide de modèles visuo-textuels pré-entraînés. En intégrant des informations de transition et en s’adaptant à différents types de vidéos (diapositives projetées, tableau noir, captures d’écran), le système permet une segmentation plus précise, plus rapide et plus robuste que les approches existantes, sans nécessiter de grands ensembles de données annotées.Enfin, une application de démonstration illustre le potentiel pratique de ces contributions : elle améliore la recherche, l’interactivité et l’accessibilité des vidéos de cours. En structurant mieux le contenu et en facilitant la navigation, ce travail ouvre la voie à des expériences d’apprentissage plus efficaces. En somme, cette thèse propose des outils et des méthodes pour une analyse multimodale plus fiable des vidéos éducatives, en vue de les rendre plus accessibles, engageantes et pédagogiquement pertinentes.