Evaluation de performance pour la détection à l'échelle de segments de vidéo

La détection de segments au sein des vidéos est un problème bien connu dans le domaine de la vision par ordinateur. L'objectif est de détecter une vidéo courte au sein d'une vidéo plus longue sous contraintes de déformation. La portion de vidéo détectée est alors qualifiée de segment. La détection de segments a de nombreuses applications comme pour la recherche de vidéos en ligne, la protection de la propriété intellectuelle, la détection de publicité TV, etc. Durant les dernières années, les systèmes à base de réseaux neuronaux convolutifs se sont imposés sur ce problème. Ces systèmes extraient des caractéristiques à partir des réseaux afin de décrire les fenêtres clés des segments. Ceci soulève de nouveaux besoins en termes d'évaluation de performance des systèmes à des fins de mise à l'échelle, contrôle des déformations et d'horodatage temporel des vidéos. Cette thèse propose deux contributions clés dans le domaine de l'évaluation de performance des systèmes de détection de segments. En première contribution, un nouveau protocole est proposé afin de générer des bases de test à l'échelle et de haute qualité, tant sur les données vidéos que celles de vérité terrain et d'horodatage. Ce protocole a été déployé afin de concevoir la base de données STVD. Cette base est la plus importante de la littérature à date avec 83 mille vidéos (ayant une durée de plus de 10 mille heures) composées de 1,6 million d'associations de segments (horodatés avec une précision à la fenêtre). La deuxième contribution de la thèse s'intéresse aux caractéristiques extraites des réseaux neuronaux convolutifs. Ces caractéristiques sont bien adaptées aux photos mais moins aux vidéos compte tenu de la problématique d'échelle, de redondance, de floue et de faible information visuelle. Afin d'étudier les limitations, une étude de caractérisation est présentée. Les résultats démontrent que la séparabilité n'est pas atteinte sur le problème de détection même si de fortes performances sont observées. Les différents réseaux présentent des performances proches, même si les architectures récentes comme ResNet50 se démarquent. Cette étude conclut à une carence du protocole d'usage. Afin de répondre à ce problème, un nouveau protocole est proposé pour la caractérisation des fenêtres clés des segments à partir des caractéristiques réseaux. Il permet une caractérisation fine des fenêtres clés et caractéristiques réseaux en termes de séparabilité, consistance et analyse quantitative de la qualité.