machine learning algorithms for event-based camera

Le travail de cette thèse vise à développer des algorithmes d'apprentissage machine adaptés à la particularité de données issues des caméras événementielles. La caméra événementielle est une technologie récente composée de pixels indépendants qui acquièrent les données uniquement s'il y a une variation de luminosité sur un pixel. Cette technologie a créé un changement de paradigme dans la manière dont les machines perçoivent le monde visuel grâce à une résolution temporelle et une plage dynamique élevées, et a conduit à la redéfinition des outils actuels de traitement d'images de par la nature asynchrone de l'acquisition.Les algorithmes d'apprentissage machine, en particulier ceux fondés sur les réseaux de neurones convolutionnels, s'avèrent également non adaptés à la nature intrinsèque des données générées. Cette thèse décrit les différentes étapes qui permettent de proposer des architectures adaptées et optimisées à la particularité des données.Une étape préliminaire consiste à implémenter des outils de visualisation des événements, permettant une interprétation visuelle des données. De plus, une collaboration a permis la création d'une base de données multimodale venant enrichir les données événementielles afin de réaliser un benchmark sur des données infrarouge, par exemple.La première partie propose une représentation normalisée, Variable Kernel Speed Invariant Time Surface (VK-SITS), bloc fondamental de ce travail. Cette représentation, adaptée aux méthodes d'apprentissage profond, est compétitive et offre un traitement plus rapide que l'état de l'art, grâce à sa robustesse aux variations de données et de paramètres.Un benchmark est proposé pour évaluer les représentations indépendamment des blocs de prétraitement et des méthodes d'apprentissage. Fondé sur la validation croisée, il assure une évaluation équitable et robuste.Dans une deuxième partie, ce travail de thèse propose un modèle complet basé sur des réseaux de neurones récurrents. Le modèle ParallelizedGRU proposé se compose de deux sous-modèles, chacun utilisant une représentation différente (NonLinear Temporal Mapping et VK-SITS) afin d'extraire les informations spatio-temporelles, suivies de modèles récurrents. Cette méthode offre une alternative moins gourmande en mémoire que l'état de l'art, tout en conservant une précision proche et un traitement séquentiel des données.