arXiv:2605.24456v2 Announce Type: replace 
Abstract: Humans constantly reason about 3D proximity, the relations between their body and surrounding objects, to guide perception and action in daily life. Whether multimodal large language models (MLLMs) can perform such embodied 3D reasoning remains unclear. To this end, we introduce EgoProx, a benchmark for egocentric 3D proximity reasoning. We organize our tasks along a cognitive chain, covering intention, exploration, exploitation, and chain-of-actions reasoning. We also design an agent based data engine that produces diverse and consistent QA pairs at scale. We benchmark prevailing MLLMs on EgoProx and conduct additional analyses with dataset specific and task specific instruction tuning. We observe large cross-domain gains, indicating that current MLLMs contain some spatial knowledge; however, they still struggle to effectively leverage it for spatial reasoning VQA.

يمثل تقديم EgoProx تقدمًا كبيرًا في تقييم قدرات نماذج اللغة متعددة الوسائط (MLLMs) في التفكير في القرب ثلاثي الأبعاد من منظور الشخص، وهو أمر أساسي لفهم تفاعل الإنسان مع بيئته. ينظم هذا المعيار المهام على طول سلسلة معرفية، تشمل النية والتفكير في الأفعال، ويستخدم محرك بيانات لتوليد أزواج متنوعة من الأسئلة والأجوبة.

La introducción de EgoProx marca un avance significativo en la evaluación de las capacidades de los Modelos de Lenguaje Multimodal (MLLMs) en el razonamiento de proximidad 3D egocéntrico, esencial para comprender la interacción humana con su entorno. Este benchmark organiza tareas a lo largo de una cadena cognitiva, que incluye la intención y el razonamiento de acciones, y utiliza un motor de datos para generar pares de preguntas y respuestas diversos.

L'introduction d'EgoProx représente une avancée significative dans l'évaluation des capacités des modèles de langage multimodaux (MLLMs) en matière de raisonnement sur la proximité 3D égocentrique, essentiel pour comprendre l'interaction humaine avec leur environnement. Ce benchmark organise les tâches le long d'une chaîne cognitive, y compris l'intention et le raisonnement d'action, et utilise un moteur de données pour générer des paires de questions-réponses diversifiées.

The introduction of EgoProx marks a significant advancement in evaluating the capabilities of Multimodal Large Language Models (MLLMs) in egocentric 3D proximity reasoning, which is essential for understanding human interaction with their environment. This benchmark organizes tasks along a cognitive chain, including intention and action reasoning, and utilizes a data engine to generate diverse question-answer pairs.