Incremental and explainable AI for multi-modal data, application to the recognition of risk situations

L’IA a obtenu des résultats remarquables dans les domaines de la vision par ordinateur et du traitement automatique du langage naturel (NLP). Les modèles actuels s’appuient sur de grands ensembles de données statiques. Cependant, ils ont du mal à s’adapter à des environnements en constante évolution et manquent d’interprétabilité en raison de leur opacité. Cette thèse aborde ces défis par trois contributions principales. Premièrement, nous proposons une famille de méthodes rapides Moveto- Data (MTD) pour l’apprentissage en streaming, incluant l’EMTD et ses variantes de reciblage (MTDR/ EMTDR), permettant une adaptation rapide sans rétropropagation complète et limitant la dérive du modèle. Deuxièmement, nous développons Rollout-FEM (RFEM) et RFEM-Class pour améliorer l’explicabilité des Vision Transformers, avec un fort alignement sur la perception humaine et une grande stabilité et exactitude. Troisièmement, nous intégrons l’explicabilité dans l’entraînement via Explain-to- Train (ET) et Explain-to-Improve Streaming Learning (ESL), améliorant les performances. Enfin, nous explorons l’adaptation non supervisée en streaming pour des scénarios réalistes sans labels.