Recherche efficace d’architectures neuronales profondes via Optimisation Bayésienne : application à la vision par ordinateur

Les architectures de réseaux neuronaux sont au centre de l'immense succès de l'apprentissage profond dans de nombreuses tâches. La recherche d'architectures de réseaux de neurones (NAS) est une tâche critique dans le développement de modèles d'apprentissage profond efficaces, qui permet de découvrir de nouvelles composantes ou configurations efficaces, ou bien d'adapter de manière optimale les architectures existantes aux contraintes matérielles de déploiement, par exemple par le biais du NAS adapté au matériel.Bien que les algorithmes d'optimisation en boîte noire soient bien adaptés à ces problèmes, le coût élevé de l'évaluation des solutions individuelles met l'accent sur les méthodes à forte efficacité d'échantillonnage comme l'Optimisation Bayésienne (BO).Dans ce travail, nous partons des principes fondamentaux qui sous-tendent l'efficacité d'échantillonnage de l'Optimisation Bayésienne, et nous tirons parti de certains attributs de la NAS et de la flexibilité inhérente et de la performance prédictive des Deep Ensembles pour réduire de manière significative le temps de recherche et les ressources nécessaires pour explorer efficacement les espaces de recherche.Sur les benchmarks NAS, cette stratégie de recherche atteint une accélération de 100x par rapport à la recherche aléatoire, et jusqu'à 50% de réduction du temps de recherche par rapport aux méthodes basées sur l'Optimisation Bayésienne ou la recherche locale.La conception d'architectures de réseaux neuronaux est un problème complexe qui peut rapidement conduire à une explosion combinatoire. Une conception judicieuse de l'espace de recherche est une condition importante pour trouver rapidement des modèles performants.Nous démontrons la polyvalence et l'efficacité de cette approche de recherche sur plusieurs espaces de recherche de types et de degrés de complexité différents. Nous nous concentrons sur la recherche et l'amélioration d'architectures de modèles de vision efficaces. Nous démontrons qu'il est possible de trouver de nouveaux modèles très performants tout en limitant les coûts de calcul requis.