Intelligence artificielle neuro-inspirée appliquée à la perception et à l’imagination auditive de scènes naturelles

Cette thèse explore si les réseaux de neurones artificiels peuvent être alignés avec le signal cérébral individuel associé au traitement auditif à l’aide d’un large ensemble de données fMRI enregistrées au cours d’un paradigme naturalistique, et étudie si les réseaux alignés peuvent être utilisé comme outils de modélisation pour comprendre des processus cérébraux complexes tels que l’imagerie auditive. Un réseau pré-entraîné, SoundNet, a été ajusté pour prédire l’activité cérébrale de six participants regardant plusieurs saisons de la série Friends. L’alignement des représentations internes du modèle avec les données cérébrales a amélioré ses performances, tant pour prédire l’activité cérébrale associée au visionnage de saisons différentes que pour généraliser à des nouvelles tâches audio, tout en capturant la variabilité individuelle de l’activité cérébrale. Nous avons ensuite testé si ces modèles pouvaient encoder l’activité du cortex auditif durant l’imagerie auditive. Un nouveau jeu de données fMRI a été collecté où des participants écoutaient de la musique entrecoupée de silences pour favoriser la reconstruction mentale des segments de musiques manquants. Nous avons combiné la réponse hémodynamique hypothétique à l’écoute de la musique et des silences, à l’information obtenue avec les modèles alignés, et avons évalué les modèles combinés sur leur capacité à prédire l’activité dans le cortex auditif et l’aire supplémentaire prémotrice (pre-SMA). Aucun n’a surpassé le modèle hémodynamique de référence. Ces résultats apportent de nouveaux éléments sur les limites de l’alignement ANN-cerveau pour modéliser l’imagerie mentale.