Cable Manipulation by a Mobile Robot

Das Greifen transparenter und flexibler Objekte stellt aufgrund ihrer schlechten Sichtbarkeit in herkömmlichen RGB- oder Tiefensensoren nach wie vor eine große Herausforderung in der Robotik dar.Diese Arbeit befasst sich mit dem Problem des zuverlässigen Greifens eines transparenten Schlauches mit einem mobilen Eye-in-Hand-Roboter. Wir schlagen eine neuartige Methode vor, die die 3D-Form des Schlauches rekonstruiert und eine geeignete Greifpose bestimmt, wobei nur die an der Hand des Roboters montierte RGB-Kamera in Kombination mit ihrer bekannten Pose verwendet wird. Unsere Methode kombiniert zunächst Depth Anything v2 für die monokulare Tiefenschätzung mit Grounded Segment Anything 2 für eine robuste Segmentierung, um eine erste 3D B-Spline-Darstellung zu erzeugen. Wenn sich der Roboter dem Objekt nähert, wird die Form und Pose der B-Spline anhand von mehreren Ansichten der beweglichen Kamera iterativ verfeinert. Die resultierende 3D-Rekonstruktion ermöglicht die Berechnung einer stabilen Greifpose, die auf einem physischen Roboter ausgeführt wird. Experimentelle Bewertungen in realen Szenarien haben gezeigt, dass der vorgeschlagene Ansatz transparente Röhren ohne zusätzliche Tiefensensoren oder spezielle Hardware genau lokalisieren und erfolgreich greifen kann. Diese Ergebnisse zeigen, dass die Integration modernster monokularer Tiefenschätzung und Segmentierungstechniken, die seit langem bestehende Herausforderung der Manipulation transparenter Objekte effektiv bewältigen kann.