Képalapú navigációs modellek összehasonlító vizsgálata önjáró robotok esetében: Vision-based Navigation Models for Autonomous Rovers: Experimental Analysis and Comparison

Traditional navigation algorithms rely heavily on the fusion of heterogeneous data from different sensor modalities for precise localization and navigation tasks. However, these approaches lack generalization and interaction with human operators, particularly in navigating unknown environments and human language-based task specifications. In contrast, the foundation models trained on internet-scale data have shown higher generalization capabilities and show an emerging trend in zero-shot learning for navigation tasks. Furthermore, these generic models can close the perception-planning loop through common sense reasoning, applicable to both language-based tasks and open-vocabulary visual recognition. However, due to the scarcity of robotics data for these vision-language-action-based approaches and the lack of clear evaluation protocols for these models, including safety guarantees, it is hard to evaluate the real benefits of these models. In this work, we analyze three different image-based navigation models: ViNT, GNM, and NoMaD. We propose specific metrics to quantitatively evaluate the visual-action-based navigation methods in indoor, outdoor, and simulation environments. In each scenario, these methods are adapted to a different robotic setup than the one provided in the original papers, providing an opportunity to benchmark the generalizability of these methods. KivonatA hagyományos navigációs algoritmusok nagymértékben támaszkodnak a különböző érzékelőkből származó heterogén adatok fúziójára a pontos lokalizációs és navigációs feladatokhoz. Ezek a megkö-zelítések azonban nem rendelkeznek általánosítással és interakcióval az emberi operátorokkal, különösen az ismeretlen környezetekben való navigálás és az emberi nyelven alapuló feladatspecifikációk feldolgozása során. Ezzel szemben az internetes szintű adatokon betanított alapmodellek nagyobb általánosítási képességeket mutattak és nagymértékű potenciállal rendelkeznek az előre nem látott környezetekben való navigációs feladatokhoz. Továbbá ezek az általános modellek az érvelésükön keresztül előre be nem programozható útvonalakat tervezhetnek meg. Azonban ezen – látáson, nyelven és cselekvésen alapuló – megközelítések esetében a robotikai adatok szűkössége, valamint az egyértelmű értékelési protokollok (beleértve a biztonsági garanciákat is) hiánya miatt nehéz felmérni e modellek valódi előnyeit. Jelen munkában három különböző képalapú navigációs modellt – a ViNT, a GNM és a NoMaD – vizsgálunk. Konkrét mérőszámokat javaslunk a vizuális-cselekvési alapú navigációs módszerek kvantitatív értékelésére beltéri, kültéri és szimulációs környezetben. Az egyes forgatókönyvek során a módszereket az eredeti tanulmányokban szereplőtől eltérő robotikai konfigurációhoz igazítjuk, lehetőséget teremtve ezzel a módszerek általánosíthatóságának összehasonlító vizsgálatára.