Réseaux de neurones profonds pour la segmentation sémantique des nuages de points 3D adaptés aux architectures embarquées pour les systèmes mobiles autonomes et robotiques

Dans le contexte de la perception pour les systèmes robotiques, l'analyse sémantique de nuages de points 3D, généralement générés par des LiDARs, joue un rôle crucial dans un large panel d'applications, incluant la reconnaissance d'objets, le SLAM et la reconstruction de scène. Ce travail se concentre sur la segmentation sémantique, qui permet une compréhension locale fine de l'environnement, essentielle pour une navigation autonome sûre et fiable. Bien que riches en informations géométriques, les nuages de points 3D requièrent des calculs intensifs qui compliquent l'analyse sémantique en temps réel, notamment sur des systèmes embarqués utilisés en robotique. Compte tenu de l'importance de la sécurité, les modules de perception 3D doivent allier précision de la segmentation et faible latence. Ce travail étudie plusieurs approches de segmentation sémantique 3D et évalue leurs performances pour une inférence efficace sur plateformes embarquées NVIDIA Jetson. Nous proposons une méthode de comparaison équitable via un protocole d'entraînement unifié et des augmentations de données homogènes, avec des résultats de référence sur deux jeux de données issus de la conduite autonome. Notre analyse montre la nécessité d'adaptations majeures dans la conception des réseaux pour le déploiement embarqué. Pour y répondre, nous introduisons HARP-NeXt, un réseau de segmentation LiDAR rapide et précis, intégrant un prétraitement novateur réduisant la charge computationnelle, ainsi qu'un bloc Conv-SE-NeXt capturant efficacement les représentations sans accumulation excessive de couches. Notre backbone de fusion distance-point multi-échelle exploite des caractéristiques à divers niveaux d'abstraction, préserve les détails géométriques et améliore la précision. Nos expériences montrent que HARP-NeXt dépasse les méthodes existantes en termes de compromis vitesse/précision. Enfin, nous analysons sa robustesse face aux corruptions et aux changements de domaine, montrant une résilience prometteuse aux bruits, aux variations de modalités des capteurs, et aux structures de scène.