Sur la diversité et la similarité des malwares : comprendre la variabilité entre les familles de malwares

Le volume croissant de programmes malveillants circulant quotidiennement, combiné à leur diversité structurelle toujours plus grande, représente un défi majeur pour l'analyse automatisée des malwares. Les classificateurs basés sur l'apprentissage automatique, largement adoptés pour la détection et la classification des familles de malwares, peinent souvent à généraliser lorsqu'ils sont confrontés à de nouvelles familles ou à des jeux de données affectés par des incohérences de labellisation, des déséquilibres de classes ou des ensembles de caractéristiques incomplètes. Au-delà de la classification, la variabilité structurelle observée au sein des familles de malwares complique considérablement la mesure de similarité. Les auteurs de malwares recourent activement à des techniques telles que le packing et les modifications binaires intentionnelles pour générer des variantes diverses issues d'une même base de code. À ces défis s'ajoute la présence fréquente d'échantillons tronqués dans les jeux de données collectés à partir de flux en temps réel. Bien que ces fichiers incomplets ne constituent pas une source de diversité significative, ils introduisent du bruit et gaspillent des ressources d'analyse lorsqu'ils sont traités par des outils ou des sandboxes. Parallèlement, des échantillons provenant de familles de malwares totalement distinctes présentent souvent des similarités structurelles trompeuses, résultant d'environnements de compilation communs, de packers partagés ou de chaînes d'outils de compilation récurrentes. Ces artefacts inter-familles compromettent la précision des caractéristiques de similarité statique, entraînant des erreurs de regroupement et des associations incorrectes entre familles distinctes. Cette thèse aborde ces défis à travers une étude empirique de la diversité des malwares selon trois perspectives : l'impact de la composition des jeux de données et du choix des caractéristiques sur les performances des classificateurs, l'ampleur et la nature du polymorphisme intra-famille dans les binaires malveillants, et les facteurs structurels à l'origine des similarités trompeuses entre familles non apparentées. Ensemble, ces travaux offrent une base empirique solide pour améliorer la conception, l'évaluation et la fiabilité des techniques de classification et d'analyse de similarité des malwares.