arXiv:2605.26500v1 Announce Type: new 
Abstract: Vision-language navigation (VLN) requires an agent to traverse complex 3D environments based on natural language instructions, necessitating a thorough scene understanding. While existing works equip agents with various scene representations to enhance spatial awareness, they often neglect the complex 3D geometry and rich semantics in VLN scenarios, limiting the ability to generalize across diverse and unseen environments. To address these challenges, this work proposes a 3D Gaussian Map that represents the environment as a set of differentiable 3D Gaussians and accordingly develops a navigation strategy for VLN. Specifically, Egocentric Scene Map is constructed online by initializing 3D Gaussians from sparse pseudo-lidar point clouds, providing informative geometric priors for scene understanding. Each Gaussian primitive is further enriched through Open-Set Semantic Grouping operation, which groups 3D Gaussians based on their membership in object instances or stuff categories within the open world, resulting in a unified 3D Gaussian Map. Building on this map, Multi-Level Action Prediction strategy, which combines spatial-semantic cues at multiple granularities, is designed to assist agents in decision-making. Extensive experiments conducted on three public benchmarks (i.e., R2R, R4R, and REVERIE) validate the effectiveness of our method.

تقدم دراسة جديدة خريطة غاوسية ثلاثية الأبعاد مع تجميع دلالي مفتوح تهدف إلى تحسين التنقل بين اللغة والرؤية (VLN) من خلال تمكين الوكلاء من التنقل في بيئات ثلاثية الأبعاد معقدة باستخدام تعليمات باللغة الطبيعية. تتناول هذه الطريقة القيود المفروضة على النماذج الحالية التي غالبًا ما تتجاهل الهندسة المعقدة والدلالات في السيناريوهات، مما يحسن من فهم المشهد.

Un nuevo estudio presenta un Mapa Gaussiano 3D con Agrupación Semántica de Conjunto Abierto, diseñado para mejorar la navegación lenguaje-visión (VLN) al permitir que los agentes naveguen por entornos 3D complejos utilizando instrucciones en lenguaje natural. Este enfoque aborda las limitaciones de los modelos existentes que a menudo pasan por alto la compleja geometría y semántica 3D, mejorando así la comprensión de la escena.

Une nouvelle étude présente une carte gaussienne 3D avec un regroupement sémantique en ensemble ouvert visant à améliorer la navigation langage-vision (VLN) en permettant aux agents de naviguer dans des environnements 3D complexes à l'aide d'instructions en langage naturel. Cette approche répond aux limites des modèles existants qui négligent souvent la géométrie et la sémantique 3D complexes, améliorant ainsi la compréhension de la scène.

A new study presents a 3D Gaussian Map with Open-Set Semantic Grouping aimed at enhancing vision-language navigation (VLN) by enabling agents to navigate complex 3D environments using natural language instructions. This approach addresses the limitations of existing models that often overlook intricate 3D geometry and semantics, thereby improving scene understanding.