arXiv:2401.01887v3 Announce Type: replace 
Abstract: Visual odometry estimates the motion of a moving camera based on visual input. Existing methods, mostly focusing on two-view point tracking, often ignore the rich temporal context in the image sequence, thereby overlooking the global motion patterns and providing no assessment of the full trajectory reliability. These shortcomings hinder performance in scenarios with occlusion, dynamic objects, and low-texture areas. To address these challenges, we present the Long-term Effective Any Point Tracking (LEAP) module. LEAP innovatively combines visual, inter-track, and temporal cues with mindfully selected anchors for dynamic track estimation. Moreover, LEAP's temporal probabilistic formulation integrates distribution updates into a learnable iterative refinement module to reason about point-wise uncertainty. Based on these traits, we develop LEAP-VO, a robust visual odometry system adept at handling occlusions and dynamic scenes. Our mindful integration showcases a novel practice by employing long-term point tracking as the front-end. Extensive experiments demonstrate that the proposed pipeline significantly outperforms existing baselines across various visual odometry benchmarks.

تقدم دراسة جديدة LEAP-VO، وهي طريقة لتقدير الحركة البصرية التي تعزز تتبع الحركة من خلال استخدام السياق الزمني الغني من تسلسلات الصور. تعالج هذه الطريقة التحديات الشائعة التي تواجهها الطرق الحالية، مثل الحجب والأجسام الديناميكية، مما يحسن موثوقية تقييم المسارات. هذه التطورات مهمة لأنها قد تؤدي إلى أنظمة ملاحة أكثر دقة في الروبوتات والمركبات المستقلة، مما يجعلها أكثر أمانًا وكفاءة.

Un nuevo estudio presenta LEAP-VO, un método para la odometría visual que mejora el seguimiento del movimiento al utilizar el rico contexto temporal de las secuencias de imágenes. Este enfoque aborda los desafíos comunes que enfrentan los métodos existentes, como la oclusión y los objetos dinámicos, mejorando así la fiabilidad de las evaluaciones de trayectoria. Este avance es significativo ya que podría llevar a sistemas de navegación más precisos en robótica y vehículos autónomos, haciéndolos más seguros y eficientes.

Une nouvelle étude présente LEAP-VO, une méthode pour l'odométrie visuelle qui améliore le suivi des mouvements en utilisant le contexte temporel riche des séquences d'images. Cette approche répond aux défis courants rencontrés par les méthodes existantes, tels que l'occlusion et les objets dynamiques, améliorant ainsi la fiabilité des évaluations de trajectoire. Cette avancée est significative car elle pourrait conduire à des systèmes de navigation plus précis dans la robotique et les véhicules autonomes, les rendant plus sûrs et plus efficaces.

A new study introduces LEAP-VO, a method for visual odometry that enhances motion tracking by utilizing rich temporal context from image sequences. This approach addresses common challenges faced by existing methods, such as occlusion and dynamic objects, ultimately improving the reliability of trajectory assessments. This advancement is significant as it could lead to more accurate navigation systems in robotics and autonomous vehicles, making them safer and more efficient.

LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry

arXiv:2111.03201v3 Announce Type: replace 
Abstract: In the foreseeable future, autonomous vehicles will require human assistance in situations they can not resolve on their own. In such scenarios, remote assistance from a human can provide the required input for the vehicle to continue its operation. Typical sensors used in autonomous vehicles include camera and lidar sensors. Due to the massive volume of sensor data that must be sent in real-time, highly efficient data compression is elementary to prevent an overload of network infrastructure. Sensor data compression using deep generative neural networks has been shown to outperform traditional compression approaches for both image and lidar data, regarding compression rate as well as reconstruction quality. However, there is a lack of research about the performance of generative-neural-network-based compression algorithms for remote assistance. In order to gain insights into the feasibility of deep generative models for usage in remote assistance, we evaluate state-of-the-art algorithms regarding their applicability and identify potential weaknesses. Further, we implement an online pipeline for processing sensor data and demonstrate its performance for remote assistance using the CARLA simulator.

أظهرت دراسة حديثة إمكانية استخدام النماذج التوليدية العميقة لضغط بيانات المستشعرات في المركبات الذاتية القيادة، خاصة في السيناريوهات التي تتطلب مساعدة بشرية عن بُعد. تهدف هذه الطريقة إلى تحسين كفاءة نقل البيانات من المستشعرات مثل الكاميرات والليدار، التي تنتج كميات هائلة من المعلومات في الوقت الحقيقي.

Un estudio reciente ha destacado el potencial de los modelos generativos profundos para comprimir datos de sensores en vehículos autónomos, especialmente en situaciones que requieren asistencia humana remota. Este enfoque busca mejorar la eficiencia de la transmisión de datos desde sensores como cámaras y lidar, que generan grandes volúmenes de información en tiempo real.

Une étude récente a mis en évidence le potentiel des modèles génératifs profonds pour compresser les données des capteurs dans les véhicules autonomes, en particulier pour les scénarios nécessitant une assistance humaine à distance. Cette approche vise à améliorer l'efficacité de la transmission des données provenant de capteurs tels que les caméras et les lidars, qui génèrent d'énormes quantités d'informations en temps réel.

A recent study has highlighted the potential of deep generative models for compressing sensor data in autonomous vehicles, particularly for scenarios requiring remote human assistance. This approach aims to enhance the efficiency of data transmission from sensors like cameras and lidar, which generate vast amounts of information in real-time.

Compressing Sensor Data for Remote Assistance of Autonomous Vehicles using Deep Generative Models

arXiv:2503.02916v2 Announce Type: replace 
Abstract: Localizing a person from a moving monocular camera is critical for Human-Robot Interaction (HRI). To estimate the 3D human position from a 2D image, existing methods either depend on the geometric assumption of a fixed camera or use a position regression model trained on datasets containing little camera ego-motion. These methods are vulnerable to severe camera ego-motion, resulting in inaccurate person localization. We consider person localization as a part of a pose estimation problem. By representing a human with a four-point model, our method jointly estimates the 2D camera attitude and the person's 3D location through optimization. Evaluations on both public datasets and real robot experiments demonstrate our method outperforms baselines in person localization accuracy. Our method is further implemented into a person-following system and deployed on an agile quadruped robot.

تم تطوير طريقة جديدة لتحديد موقع الأشخاص باستخدام كاميرا أحادية تحت حركة الكاميرا، حيث تعالج التحديات المتعلقة بتقدير موضع الشخص ثلاثي الأبعاد بدقة من صور ثنائية الأبعاد تم التقاطها بواسطة كاميرا متحركة. تستخدم هذه الطريقة نموذجًا رباعي النقاط لتقدير وضع الكاميرا ثنائية الأبعاد وموقع الشخص ثلاثي الأبعاد بشكل مشترك، مما يحسن بشكل كبير دقة تحديد الموقع مقارنة بالطرق الحالية.

Se ha desarrollado un nuevo método para la localización de personas monoculares bajo el movimiento de la cámara, abordando los desafíos de estimar con precisión la posición 3D de una persona a partir de imágenes 2D capturadas por una cámara en movimiento. Este enfoque utiliza un modelo de cuatro puntos para estimar conjuntamente la actitud 2D de la cámara y la ubicación 3D de la persona, mejorando significativamente la precisión de la localización en comparación con los métodos existentes.

Une nouvelle méthode de localisation de personnes monoculaires sous le mouvement de la caméra a été développée, abordant les défis d'estimation précise de la position 3D d'une personne à partir d'images 2D capturées par une caméra en mouvement. Cette approche utilise un modèle à quatre points pour estimer conjointement l'attitude 2D de la caméra et la localisation 3D de la personne, améliorant considérablement la précision de localisation par rapport aux méthodes existantes.

A new method for monocular person localization under camera ego-motion has been developed, addressing the challenges of accurately estimating a person's 3D position from 2D images captured by a moving camera. This approach utilizes a four-point model to jointly estimate the camera's 2D attitude and the person's 3D location, significantly improving localization accuracy compared to existing methods.

LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry

Was this article worth reading? Share it

VideoDigest

Interactive Avatar

OpenL Translator