Natural Language Commands for Robotic Navigation

Roboter werden zunehmend in menschlicher Umgebung eingesetzt, weshalb die natürliche Interaktion mit ihnen umso wichtiger wird. Um Navigationsbefehle mit offenem Vokabular zu verstehen, benötigt ein Roboter die Möglichkeit, Sprache zu verarbeiten und eine strukturierte Repräsentation der Umgebung. Large Language Models (LLMs) verfügenüber starke Fähigkeiten in der Sprachverarbeitung, und 3D-Szenengraphen (3DSG) sind in der Lage, die Umgebung strukturiert darzustellen. Allerdings fehlen vielen 3DSGs explizite räumlich-semantische Beziehungen zwischen den Objekten, obwohl Menschen häufig mithilfe dieser Beziehungen die Umgebung beschreiben.Diese Arbeit untersucht, ob die Interpretation von Navigationsbefehlen in natürlicher Sprache von LLMs verbessert werden kann, wenn räumlich-semantische Beziehungen in 3DSGs integriert werden. Außerdem wird untersucht, wie diese Beziehungen effektiv erstellt und dargestellt werden können.Zu diesem Zweck wurde eine auf einem LLM-basierten Pipeline entwickelt, welche anhand einer Beschreibung in offenem Vokabular ein Objekt in einer Umgebung identifizieren soll. Zusätzlich wird in dieser Arbeit eine Methode zur Extraktion und Markierung von Bildern aus den Daten des Robotermappings präsentiert sowie eine VLM-basierte Pipeline zur Erstellung von räumlich-semantischen Beziehungen in offenem Vokabular aus diesen Bildern. Abschließend wurde im Rahmen einer Studie die Leistung von zwei LLMs hinsichtlich der Fähigkeit, Objekte in einer Umgebung anhand einer Beschreibung zu identifizieren, getestet.Die Ergebnisse zeigen, dass explizite räumlich-semantische Beziehungen besonders die Leistung von Generative Pre-trained Transformer - 4 omni (GPT-4o) verbessern, während Generative Pre-trained Transformer - 3.5 (GPT-3.5) nicht in der Lage ist, die hinzugefügten Beziehungen effektiv zu nutzen. Darüber hinaus hat sich gezeigt, dass die Generierung von Beziehungen in offenem Vokabular mit VLMs mit vom Roboter aufgenommenen Bildern machbar ist. Abschließend zeigt diese Arbeit, dass die Kombination aus LLMs und Szenenrepräsentationen mit expliziten Beziehungen die Navigation mit natürlicher Sprache voranbringt.