Conception conjointe de réseaux de neurones profonds et d’architectures FPGA flux de données pour la segmentation sémantique dans les véhicules autonomes

Cette thèse examine le déploiement de modèles d’apprentissage profond, notamment de segmentation sémantique, sur des circuits reconfigurables (FPGAs), qui offrent des solutions efficaces en termes d’énergie et de faible latence pour des systèmes comme les véhicules autonomes ou les drones. Bien que les FPGAs soient avantageux pour ces applications, leurs ressources limitées en calcul et mémoire posent des défis. Les travaux présentés répondent à ces défis en s’intéressant à la conception conjointe de réseaux de neurones et d’architectures FPGA flux de données. Deux modèles sont deployés, ResNet18-UNet et ENet, étant optimisés pour l’inférence en temps réel. P-ENet, une version améliorée d’ENet grâce à une exploration d’architectures de réseaux de neurones, atteint des performances à l’état de l’art avec 70.3% de mIoU sur le jeu de données Cityscapes, 226 FPS, et une latence de 4,2 ms, démontrant que la co-conception des réseaux et du matériel offre de meilleurs compromis entre précision et performances matérielles que la simple compression. Les mesures comparatives effectuées indiquent que les cette architecture sur FPGA est 1,15 fois plus efficace énergétiquement qu’un GPU embarqué.