Generative AI based approaches for medical biometrics : application in dermatology

Cette thèse explore comment l’intelligence artificielle générative peut répondre à l’un des défis les plus persistants de l’IA médicale : le manque d’accès à des données médicales de haute qualité, diversifiées et utilisables de manière éthique. Dans le domaine de la biométrie faciale, où les symptômes visuels des affections dermatologiques, des déformations faciales et des altérations pathologiques jouent un rôle crucial dans le diagnostic et le suivi, cette pénurie est particulièrement marquée. Les lois sur la confidentialité, les considérations éthiques et la rareté de certaines pathologies limitent fortement la disponibilité de jeux de données d’entraînement suffisamment riches. En conséquence, même les modèles diagnostiques les plus avancés risquent d’être biaisés, sous-entraînés ou non représentatifs de la diversité clinique réelle. Plutôt que de dépendre de jeux de données réels limités, cette thèse propose l’utilisation de données synthétiques générées grâce aux techniques modernes d’IA générative. Ce travail développe et évalue trois stratégies novatrices pour produire des images de pathologies faciales réalistes, diversifiées et sémantiquement cohérentes. Ces images synthétiques ne visent pas seulement la qualité visuelle, mais sont conçues pour des usages pratiques dans l’entraînement, la classification et la simulation de modèles d’IA, tout en préservant la confidentialité et en respectant les contraintes éthiques. La première contribution porte sur l’acné, l’une des affections cutanées faciales les plus répandues et les plus variées visuellement. Les jeux de données existants présentent souvent un déséquilibre, avec une représentation inégale des niveaux de gravité. Ce travail introduit un pipeline basé sur StyleGAN2, capable de générer des images synthétiques d’acné avec un contrôle précis de la gravité, couvrant un éventail plus large de cas pour améliorer l’exactitude et l’équité lors de l’entraînement de classificateurs. La deuxième stratégie introduit 3DG-GA, un cadre hybride combinant des GANs avec des algorithmes génétiques pour synthétiser des visages anonymisés présentant des pathologies faciales liées à la consommation de drogues. Un coefficient ajustable permet de contrôler précisément la sévérité des traits, tandis que le croisement génétique assure la désidentification. Des filtres et des contraintes garantissent l’authenticité et la sécurité, permettant une génération éthique même pour des affections rares ou sensibles. La troisième contribution se concentre sur l’entraînement de modèles Stable Diffusion afin de générer des images faciales alignées avec des pathologies, à partir de descriptions textuelles cliniques. Cette méthode, appelée VLM-GSD, intègre des modèles vision-langage pour évaluer la correspondance entre la description et l’image, et utilise leurs retours pour guider l’entraînement en pénalisant les hallucinations et les erreurs anatomiques. L’approche VLM-GSD permet ainsi de produire des images synthétiques fidèles sur le plan sémantique et cliniquement pertinentes, même pour des pathologies complexes ou concomitantes. Globalement, cette thèse démontre que des images synthétiques de pathologies faciales peuvent compléter les données réelles de manière éthique et fiable. En intégrant des connaissances médicales et des mécanismes de supervision, les pipelines proposés permettent l’entraînement de systèmes d’IA sur des données diversifiées, respectueuses de la confidentialité et pertinentes sur le plan clinique. Ils favorisent ainsi l’équité, la précision et la généralisation des modèles diagnostiques. Au-delà de la dermatologie faciale, les cadres développés ici peuvent être adaptés à d’autres régions anatomiques et pathologies, contribuant à un usage responsable de l’IA générative en imagerie médicale.