Apprentissage profond économe grâce au calcul dynamique

Les exigences croissantes en termes de calcul et de mémoire des modèles d'apprentissage profond de pointe représentent des obstacles importants à leur déploiement dans des environnements aux ressources limitées. Cette thèse aborde le défi critique de l'« apprentissage profond frugal », en explorant des méthodologies pour créer des modèles plus efficaces et accessibles sans compromettre les performances. Notre travail commence par une exploration approfondie des réseaux de neurones dynamiques à sorties multiples comme stratégie principale pour une inférence efficace. Nous étudions diverses conceptions architecturales, y compris l'intégration de mécanismes d'attention et la fusion optimisée de caractéristiques, pour créer des modèles capables d'adapter leurs dépenses de calcul en fonction de la difficulté de l'entrée. Dans ce contexte, nous examinons également la distillation de connaissances comme technique pour améliorer et harmoniser les performances des classifieurs intermédiaires. Cette phase initiale de recherche vise à établir un cadre robuste pour équilibrer la précision et le coût de calcul dans les modèles de vision par ordinateur conventionnels. Reconnaissant le changement de paradigme vers les modèles de fondation à grande échelle, l'axe de cette thèse se déplace ensuite pour aborder le défi pressant de leur coût de calcul important. Nous étudions comment les techniques de distillation de connaissances peuvent être adaptées et étendues pour compresser ces modèles puissants et polyvalents. La contribution principale dans ce domaine est une nouvelle méthodologie de distillation conçue spécifiquement pour les grands modèles vision-langage. Cette approche va au-delà de la simple imitation de caractéristiques pour transférer la compréhension sophistiquée du professeur des relations intra-modales. En forçant un modèle étudiant plus petit à répliquer les structures de similarité internes du professeur, nous créons des modèles très efficaces et performants qui conservent les capacités critiques d'apprentissage « zero-shot » et par transfert de leurs homologues plus grands. En résumé, cette thèse présente une étude complète de l'efficacité de l'apprentissage profond, traçant une trajectoire allant de l'optimisation architecturale et de la distillation dans les modèles spécifiques à une tâche, aux techniques de compression avancées pour les modèles de fondation à grande échelle. Les méthodes développées fournissent des solutions efficaces et validées pour réduire l'empreinte de calcul de l'apprentissage profond, rendant l'IA avancée plus accessible pour les applications du monde réel.