Integrating Optical Flow within a Bayesian Framework for Multiple Object Tracking in Biological Imaginga. Application to Neuron Tracking in Hydra

Pour comprendre l'activité neuronale chez les animaux en activité, il est nécessaire de suivre avec précision de grandes populations neuronales au fil du temps. Dans les petits organismes modèles tels que Hydra vulgaris, l'imagerie calcique permet d'observer et suivre simultanément des centaines de neurones. Cependant, le suivi fiable reste un défi majeur en raison de plusieurs facteurs : fortes déformations corporelles, populations neuronales denses, bruit d'imagerie et visibilité intermittente des neurones dans les indicateurs calciques (GCaMP). Les algorithmes actuels échouent souvent dans ces conditions, produisant des trajectoires fragmentées ou des associations incorrectes qui compromettent l'interprétation biologique. L'objectif de cette thèse est de développer des outils informatiques robustes pour le suivi d'objets multiples (MOT) adaptés à ces défis biologiques. Nos contributions s'articulent autour de trois axes complémentaires :(1) Cadre de simulation (SINETRA) : afin de pallier le manque de données expérimentales annotées, nous avons développé SINETRA, un simulateur polyvalent de neurones intégrées dans des tissus déformables. Il génère des vidéos fluorescentes 2D/3D réalistes avec des annotations de référence, reproduisant des mouvements et des bruits similaires à ceux observés dans l'imagerie neuronal de l'Hydre. Ce benchmark synthétique permet une évaluation et une comparaison objectives des algorithmes de suivi. (2) Suivi avec des modèles de mouvement améliorés par flux optique (KOFT / KOFT-MHT) : en nous appuyant sur les filtres de Kalman, nous avons introduit des trackers qui intègrent le flux optique comme un deuxième capteur. Ces méthodes améliorent le suivi en capturant mieux les déformations soudaines des tissus. Nous avons ensuite étendu cette approche à un cadre de Multiple Hypothesis Tracking (MHT) entièrement Bayésien, qui intègre des a priori sur la dynamique des cibles et les statistiques de détection. Ce formalisme probabiliste augmente encore la robustesse face aux détections manquées et fausses, améliorant considérablement la précision par rapport à l'état de l'art. (3) Raccordement de tracklets avec des caractéristiques visuelles (VEMC2) : dans l'imagerie calcique, les neurones ne sont détectables que lorsqu'ils sont actifs, ce qui conduit à des trajectoires fragmentées (tracklets). Pour remédier à cela, nous avons proposé une méthode de raccordement de tracklets combinant les distances positionnelles avec des caractéristiques visuelles auto-supervisées extraites de patchs fluorescents. En entraînant un réseau convolutif par apprentissage contrastif, notre méthode apprend des représentations discriminantes qui aident à distinguer les neurones. Le raccordement est résolu via un problème d'assignation linéaire minimisant un coût hybride positionnel et visuel, réduisant les erreurs de raccordement d'un facteur deux par rapport aux approches précédentes. Les méthodes ont été largement validées à la fois sur des données générées par SINETRA et sur des enregistrements réels de fluorescence d'Hydra vulgaris. Les résultats démontrent des améliorations substantielles en termes de précision de suivi. Au-delà de l'Hydre, les approches proposées sont applicables à d'autres petits organismes modèles tels que C. elegans ou les poissons zèbres. De plus, nous avons adapté avec succès notre méthode au suivi cellulaire, où l'un des principaux défis consiste à détecter et à gérer les événements de mitose. Notre méthode s'est classée première au Cell Linking Benchmark, surpassant les approches supervisées pour cette tâche. Cette thèse apporte à la fois des avancées méthodologiques et des outils pratiques à la communauté du suivi d'objets, ouvrant la voie à une analyse plus fiable des vidéos biologiques. Elle permet notamment un suivi efficace de l'activité neuronale, offrant ainsi de nouvelles possibilités pour étudier le fonctionnement neuronal chez les animaux en activité.

Authors

Publication Details

Published
2025-12-01
Primary Topic
Marine Invertebrate Physiology and Ecology
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

Integrating Optical Flow within a Bayesian Framework for Multiple Object Tracking in Biological Imaginga. Application to Neuron Tracking in Hydra

Raphael Reme
Marine Invertebrate Physiology and Ecology
article

Integrating Optical Flow within a Bayesian Framework for Multiple Object Tracking in Biological Imaginga. Application to Neuron Tracking in Hydra

Raphael Reme
article en

Abstract

Pour comprendre l'activité neuronale chez les animaux en activité, il est nécessaire de suivre avec précision de grandes populations neuronales au fil du temps. Dans les petits organismes modèles tels que Hydra vulgaris, l'imagerie calcique permet d'observer et suivre simultanément des centaines de neurones. Cependant, le suivi fiable reste un défi majeur en raison de plusieurs facteurs : fortes déformations corporelles, populations neuronales denses, bruit d'imagerie et visibilité intermittente des neurones dans les indicateurs calciques (GCaMP). Les algorithmes actuels échouent souvent dans ces conditions, produisant des trajectoires fragmentées ou des associations incorrectes qui compromettent l'interprétation biologique. L'objectif de cette thèse est de développer des outils informatiques robustes pour le suivi d'objets multiples (MOT) adaptés à ces défis biologiques. Nos contributions s'articulent autour de trois axes complémentaires :(1) Cadre de simulation (SINETRA) : afin de pallier le manque de données expérimentales annotées, nous avons développé SINETRA, un simulateur polyvalent de neurones intégrées dans des tissus déformables. Il génère des vidéos fluorescentes 2D/3D réalistes avec des annotations de référence, reproduisant des mouvements et des bruits similaires à ceux observés dans l'imagerie neuronal de l'Hydre. Ce benchmark synthétique permet une évaluation et une comparaison objectives des algorithmes de suivi. (2) Suivi avec des modèles de mouvement améliorés par flux optique (KOFT / KOFT-MHT) : en nous appuyant sur les filtres de Kalman, nous avons introduit des trackers qui intègrent le flux optique comme un deuxième capteur. Ces méthodes améliorent le suivi en capturant mieux les déformations soudaines des tissus. Nous avons ensuite étendu cette approche à un cadre de Multiple Hypothesis Tracking (MHT) entièrement Bayésien, qui intègre des a priori sur la dynamique des cibles et les statistiques de détection. Ce formalisme probabiliste augmente encore la robustesse face aux détections manquées et fausses, améliorant considérablement la précision par rapport à l'état de l'art. (3) Raccordement de tracklets avec des caractéristiques visuelles (VEMC2) : dans l'imagerie calcique, les neurones ne sont détectables que lorsqu'ils sont actifs, ce qui conduit à des trajectoires fragmentées (tracklets). Pour remédier à cela, nous avons proposé une méthode de raccordement de tracklets combinant les distances positionnelles avec des caractéristiques visuelles auto-supervisées extraites de patchs fluorescents. En entraînant un réseau convolutif par apprentissage contrastif, notre méthode apprend des représentations discriminantes qui aident à distinguer les neurones. Le raccordement est résolu via un problème d'assignation linéaire minimisant un coût hybride positionnel et visuel, réduisant les erreurs de raccordement d'un facteur deux par rapport aux approches précédentes. Les méthodes ont été largement validées à la fois sur des données générées par SINETRA et sur des enregistrements réels de fluorescence d'Hydra vulgaris. Les résultats démontrent des améliorations substantielles en termes de précision de suivi. Au-delà de l'Hydre, les approches proposées sont applicables à d'autres petits organismes modèles tels que C. elegans ou les poissons zèbres. De plus, nous avons adapté avec succès notre méthode au suivi cellulaire, où l'un des principaux défis consiste à détecter et à gérer les événements de mitose. Notre méthode s'est classée première au Cell Linking Benchmark, surpassant les approches supervisées pour cette tâche. Cette thèse apporte à la fois des avancées méthodologiques et des outils pratiques à la communauté du suivi d'objets, ouvrant la voie à une analyse plus fiable des vidéos biologiques. Elle permet notamment un suivi efficace de l'activité neuronale, offrant ainsi de nouvelles possibilités pour étudier le fonctionnement neuronal chez les animaux en activité.

Openalex Percentile: Top 11%
Marine Invertebrate Physiology and Ecology
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.