Considération de l'obturateur déroulant dans les champs lumineux : estimation de la profondeur et du mouvement à l'aide d'une caméra plénoptique à obturateur déroulant

Dans cette thèse, nous étudions le problème de la reconstruction 3D de scènes à partir d'une image unique capturée par une caméra à champ lumineux (light field camera) équipée d'un capteur à obturateur déroulant (rolling shutter). À notre connaissance, il s’agit de la première étude considérant ce type de capteur. Nos méthodes exploitent les informations 3D présentes dans le champ lumineux et les informations de mouvement fournies par l'effet d'obturateur déroulant (rolling shutter effect).La nouveauté de ce travail réside dans l'exploitation des propriétés d'imagerie particulières de la caméra à champ lumineux à obturateur roulant. Nous montrons les capacités uniques de ce capteur et expliquons comment l'intégration de l'obturateur déroulant dans la caméra à champ lumineux permet de récupérer une nouvelle dimension de la fonction plénoptique en une seule capture : le temps. L'un des objectifs de ce travail est de démontrer le potentiel offert par ce type de capteur, et même si des capteurs à champ lumineux à obturateur déroulant existent déjà, ils n'ont jamais été étudiés de cette manière, ouvrant ainsi plusieurs possibilités dans la théorie du champ lumineux et les applications des capteurs à champ lumineux.Notre travail explore la extit{terra incognita} à l'intersection de l'image plénoptique et de l'effet d'obturateur déroulant. Nous essayons de répondre aux questions suivantes, qui sont les deux faces d'une même médaille : `` Pouvons-nous exploiter le volet roulant afin d'ajouter plus de dimensions aux données capturées par un capteur de champ lumineux'' et ``Pouvons-nous exploiter le des données de haute dimension capturées par un capteur de champ lumineux afin de compenser l'effet d'obturateur déroulant.'' La réponse se présente sous la forme de deux méthodes présentées dans cette thèse qui visent à récupérer la forme et la vitesse à partir d'images de champ lumineux à obturateur déroulant. Nous démontrons l'efficacité et les avantages de nos approches à travers plusieurs expériences menées pour différentes scènes et types de mouvements. Nous présentons également un nouvel ensemble de données de référence composé de différents champs lumineux montrant des effets d'obturateur déroulant.