image reconstruction and estimation of reflectance functions from spectral filter array video sequences

L’imagerie spectrale offre de nombreuses perspectives pour un large éventail de disciplines scientifiques et d’applications pratiques. Toutefois son déploiement à grande échelle demeure limité en raison de conception peu compacte, de la complexité et du coût élevé des systèmes spectroscopiques traditionnels. Ces dernières années, les caméras à matrice de filtres spectraux (SFA, pour extit{Spectral Filter Array}) sont apparues comme une alternative prometteuse, permettant l’acquisition instantanée d’images spectrales dans un format compact et à faible coût. Néanmoins ces dispositifs restent confrontés à des limitations intrinsèques : faible résolution spatiale, sous-échantillonnage spectral et spatial important, bruit capteur et volume restreint de données annotées pour l’apprentissage. Cette thèse vise à surmonter ces verrous en proposant un cadre unifié de reconstruction multi-image, entraîné à partir de données spectrales synthétiques générées depuis des images RVB. Ce cadre permet la reconstruction d’images spectrales de haute résolution ouvrant la voie à des applications en vision par ordinateur sur vidéos spectrales, telles que l’estimation des fonctions de réflectance des matériaux notamment les SVBRDF.Les jeux de données spectrales disponibles sont limités en taille et en diversité par rapport à leurs équivalents RVB. Ceci freine l’entraînement de modèles d’apprentissage profond dédiés à l’imagerie spectrale. Pour contourner cette contrainte, la première partie de cette thèse explore la reconstruction spectrale à partir d’images RVB comme moyen de générer des données synthétiques. Nous avons évalué plusieurs méthodes de reconstruction de l’état de l’art à l’aide de métriques conventionnelles ainsi que d’analyses plus fines portant sur la distribution spectrale et le comportement colorimétrique sous différents éclairages. Les résultats mettent en évidence le potentiel de la reconstruction spectrale depuis des images RVB pour la génération de données tout en révélant des écarts significatifs en termes de contenu informationnel entre spectres estimés et mesurés. Cette analyse soutient l’usage des spectres synthétiques dans les phases d’entraînement et de pré-apprentissage dans les pipelines d’imagerie spectrale.En s’appuyant sur les données spectrales synthétiques générées à partir des images RVB, la thèse se porte ensuite sur la reconstruction d’images spectrales de haute résolution à partir de données SFA. Nous avons introduit d’abord un modèle mono-image réalisant conjointement le dématriçage et la super-résolution. Ce modèle est suivi d’une stratégie de reconstruction multi-image basée sur l’assemblage et la fusion de plusieurs images alignées afin d’améliorer la résolution spatiale. Enfin, nous proposons un cadre unifié d’apprentissage profond qui intègre le dématriçage, le débruitage et la super-résolution multi-image au sein d’un seul modèle. En exploitant l’information spatiale, spectrale et temporelle, ce cadre permet une reconstruction robuste à partir de séquences vidéo, offrant ainsi une solution complète pour améliorer l’imagerie spectrale à partir de capteurs SFA.Enfin, ce travail illustre l’applicabilité des données reconstruites à travers deux tâches indépendantes. Premièrement une analyse spectrale pixel-par-pixel, est menée pour détecter précocement les ecchymoses sur les fruits, montrant que des variations subtiles de réflectance — souvent invisibles en RVB — peuvent être détectées de manière plus fiable en utilisant les données spectrales. Deuxièmement nous développons un cadre d’estimation de la réflectance à partir d’images multi-vues pour la reconstruction de SVBRDF d’objets relativement plans. L’évaluation comparative entre images RVB et spectrales montre que l’usage de l’information spectrale améliore significativement l’estimation de la composante diffuse et permet une reproduction plus fidèle de l’apparence des matériaux.