Ambiguïté des étiquettes en classification et retours d'experts

Alors que les jeux de données de classification sont composés d'un nombre croissant de données, le besoin d'expertise humaine pour les étiqueter est toujours présent. Les plateformes de crowdsourcing sont un moyen de recueillir les commentaires d'experts à faible coût. Cependant, la qualité de ces étiquettes n'est pas toujours garantie. Dans cette thèse, nous nous concentrons sur le problème de l'ambiguïté des étiquettes dans le crowdsourcing. L'ambiguïté des étiquettes a principalement deux sources : la capacité du travailleur et la difficulté de la tâche. Nous présentons tout d'abord un nouvel indicateur, le mathrm{WAUM} (Weighted Area Under the Magin), pour détecter les tâches ambiguës confiées aux travailleurs. Basé sur le mathrm{AUM} existant dans le cadre supervisé classique, il nous permet d'explorer de grands jeux de données tout en nous concentrant sur les tâches qui pourraient nécessiter une expertise plus pertinente ou qui devraient être éliminées du jeu de données actuel. Nous présentons ensuite une nouvelle bibliothèque texttt{python} open-source, PeerAnnot, développée pour traiter les jeux de données crowdsourcées dans la classification d'images. Nous avons créé un benchmark dans la bibliothèque Benchopt pour évaluer nos stratégies d'agrégation d'étiquettes afin d'obtenir des résultats reproductibles facilement. Enfin, nous présentons une étude de cas sur l'ensemble de données Pl@ntNet, où nous évaluons l'état actuel de la stratégie d'agrégation d'étiquettes de la plateforme et proposons des moyens de l'améliorer. Ce contexte avec un grand nombre de tâches, d'experts et de classes est très difficile pour les stratégies d'agrégation de crowdsourcing actuelles. Nous faisons état de performances constamment supérieures à celles de nos concurrents et proposons une nouvelle stratégie d'agrégation qui pourrait être utilisée à l'avenir pour améliorer la qualité de l'ensemble de données Pl@ntNet. Nous publions également en plus de ce grand jeu de données, des annotations d'experts qui pourraientt être utilisées pour améliorer la qualité des méthodes d'agrégation actuelles et fournir un nouveau point de référence.