Cognitive state detection for human-robot collaboration : an electrophysiological approach

La collaboration humain–robot (HRC) prend une place croissante dans l'industrie, le médical et notre quotidien. Pour collaborer efficacement, un robot doit non seulement percevoir son environnement mais aussi comprendre les états mentaux de son partenaire humain. Cela motive l’utilisation d'approches combinant données subjectives, comportementales et physiologiques afin d’estimer des états cognitifs ou affectifs humains. Ces approches, regroupées sous les termes de détection de l’état mental (Mental State Monitoring, MSM), de traitement physiologique automatique (Physiological Computing) ou d’interface cerveau–ordinateur (BCI), et leur impact sur la robotique collaborative sont au cœur de ce doctorat.Ce travail débute par une revue des développements récents et des défis en HRC, en mettant l’accent sur les méthodes d’évaluation utilisateur. Il souligne l’apport des mesures physiologiques et la nécessité d’évaluer des états tels que l’effort cognitif, le stress et la surprise pour adapter le comportement du robot. Il propose ensuite un aperçu des signaux physiologiques les plus utilisés en MSM : les activités cérébrale, cardiaque et électrodermale. Une revue est proposée autour de leurs origines, des capteurs associés et des caractéristiques extraites typiquement. Le MSM est ensuite formalisé et structuré en différentes étapes. Une distinction est faite entre les analyses hors-ligne, en-ligne et pseudo-en-ligne, chacune répondant à des besoins différents. Les sources de bruit, globales ou spécifiques, ainsi que les techniques de prétraitement appropriées sont discutées. Les biomarqueurs liés à l’effort cognitif, au stress et à la surprise sont passés en revue, ainsi que les approches de classification, allant des méthodes à seuil aux modèles d’apprentissage automatique, simples comme profonds. Les différentes formes d’adaptation robotique possibles via l'action, la planification et la communication sont également abordées.Sur cette base, plusieurs contributions sont rapportées. Les premières permettent de caractériser des défis concrets, tels que la variabilité intra-session ou les artefacts liés aux mouvements du robot. Une pipeline complète est présentée pour classifier l’effort cognitif en comparant trois signaux physiologiques. Ces outils visent à faciliter la mise en œuvre du MSM en conditions réelles. L’accent est ensuite mis sur la conception expérimentale. Les biais méthodologiques fréquents en MSM sont identifiés ainsi que des stratégies pour améliorer l'évaluation. Trois études sont présentées : la première valide des tâches inspirées de la neuropsychologie permettant d’induire un effort cognitif par le seul comportement du robot sur de courtes vidéos, la seconde utilise ces tâches pour constituer un jeu de données publique combinant mesures subjectives, comportementales et physiologiques sur deux sessions par participant, et la troisième applique ces paradigmes en collaboration avec un robot réel. Ces travaux fournissent une base empirique et reproductible pour la recherche en HRC. Enfin, deux scénarios se concentrent sur la détection de la surprise en HRC. Le premier l'étudie à travers une tâche collaborative où le robot prend parfois des décisions erronnées tandis que l’autre développe une pipeline de détection en temps réel de la surprise grâce à un jeu de données publique. Ces expériences montrent comment le MSM peut-être déployé pour un second état mental, offrant une perspective plus contrastée de son application en HRCEn résumé, cette thèse propose un cadre complet pour intégrer la détection de l’état mental à la collaboration humain–robot. En combinant aspects théoriques, techniques et méthodologiques, elle jette les bases de systèmes robotiques capables de s’adapter à l'humain et d’améliorer les performances collaboratives. L’ensemble du travail s’inscrit dans une démarche de science ouverte : ces outils, données et ressources sont ou seront rendus accessibles à la communauté scientifique.