Explοitatiοn οf cοlοred 3D meshes using cοnvοlutiοnal netwοrks

Dans cette thèse, nous abordons la problématique de l’évaluation de la qualité visuelle des maillages 3D ainsi que celle de la saillance visuelle, en mettant en lumière l’importance croissante des méthodes d’évaluation aveugle dans des domaines en plein essor tels que l’infographie, la réalité virtuelle ou l’imagerie médicale. Ce travail met en évidence l’évolution rapide des besoins en traitement des maillages 3D et souligne le rôle clé des approches d’apprentissage profond dans l’analyse des contenus visuels tridimensionnels. L’étude s’intéresse aux principaux défis posés par la détection de la saillance et l’estimation de la qualité perçue des maillages 3D, tout en mettant en évidence les limites des métriques actuellement disponibles dans la littérature.Cette recherche introduit une approche novatrice, intitulée CMDQA, destinée à l’éva\-lua\-tion de la qualité visuelle des maillages 3D, qu’ils soient colorés ou non. Pour surmonter les défis inhérents au traitement direct des données 3D, la méthode repose sur la projection des maillages en vues 2D, exploitant ainsi pleinement le potentiel des réseaux de neurones convolutifs profonds. En combinant des métriques classiques d’évaluation de la qualité d’images sans référence, comme BRISQUE, avec des représentations profondes extraites du réseau VGG16, à la fois à l’échelle des images et des patchs, CMDQA permet une modélisation plus fine et multi-échelle de la géométrie. Les résultats obtenus démontrent que les rendus 2D de contenus 3D constituent une modalité à la fois pertinente et efficace pour estimer la qualité perceptive des maillages.Par ailleurs, nous proposons SARMA Index, une architecture novatrice reposant sur les réseaux de neurones à graphes (GNN) pour la détection de la saillance visuelle sur les maillages 3D non colorés. Cette approche consiste à représenter les maillages sous forme de graphes, en intégrant comme entrées les coordonnées spatiales des sommets ainsi que leurs courbures associées. En s’appuyant sur les principes de l’apprentissage résiduel, SARMA permet d’estimer de manière précise la saillance visuelle, surpassant les méthodes existantes à ce jour. En complément, nous présentons une méthode entièrement automatique de détection de la saillance colorimétrique pour les maillages 3D, qui affiche des résultats compétitifs face aux rares indicateurs existants abordant cette problématique de recherche particulièrement complexe.