arXiv:2511.16349v1 Announce Type: new 
Abstract: Accurate camera localization is crucial for robotics and Extended Reality (XR), enabling reliable navigation and alignment of virtual and real content. Existing visual methods often suffer from drift, scale ambiguity, and depend on fiducials or loop closure. This work introduces a real-time method for localizing a camera within a pre-captured, highly accurate colored LiDAR point cloud. By rendering synthetic views from this cloud, 2D-3D correspondences are established between live frames and the point cloud. A neural rendering technique narrows the domain gap between synthetic and real images, reducing occlusion and background artifacts to improve feature matching. The result is drift-free camera tracking with correct metric scale in the global LiDAR coordinate system. Two real-time variants are presented: Online Render and Match, and Prebuild and Localize. We demonstrate improved results on the ScanNet++ dataset and outperform existing SLAM pipelines.

تقدم الدراسة CRISTAL، وهي طريقة في الوقت الحقيقي لتحديد موقع الكاميرا داخل مسح LiDAR الثابت، وهو أمر حاسم للروبوتات والواقع الممتد (XR). من خلال عرض مشاهد اصطناعية من سحابة نقاط LiDAR الملونة، يتم إنشاء تطابقات ثنائية الأبعاد وثلاثية الأبعاد، مما يعزز مطابقة الميزات ويسمح بتتبع الكاميرا بدون انحراف في نظام إحداثيات LiDAR العالمي. تعالج هذه الطريقة قيود الأساليب البصرية الحالية، مما يحسن الدقة والموثوقية في التنقل ومحاذاة المحتوى الافتراضي والواقعي.

El estudio presenta CRISTAL, un método en tiempo real para la localización de cámaras dentro de escaneos LiDAR estáticos, crucial para la robótica y la Realidad Extendida (XR). Al renderizar vistas sintéticas a partir de un nubes de puntos LiDAR coloreados, establece correspondencias 2D-3D, mejorando la coincidencia de características y permitiendo un seguimiento de cámara sin deriva en un sistema de coordenadas LiDAR global. Este enfoque aborda las limitaciones de los métodos visuales existentes, mejorando la precisión y la fiabilidad en la navegación y alineación de contenido virtual y real.

L'étude présente CRISTAL, une méthode en temps réel pour la localisation de caméra dans des scans LiDAR statiques, essentielle pour la robotique et la réalité étendue (XR). En rendant des vues synthétiques à partir d'un nuage de points LiDAR coloré, elle établit des correspondances 2D-3D, améliorant l'appariement des caractéristiques et permettant un suivi de caméra sans dérive dans un système de coordonnées LiDAR global. Cette approche répond aux limites des méthodes visuelles existantes, améliorant la précision et la fiabilité dans la navigation et l'alignement du contenu virtuel et réel.

The study presents CRISTAL, a real-time method for camera localization within static LiDAR scans, crucial for robotics and Extended Reality (XR). By rendering synthetic views from a colored LiDAR point cloud, it establishes 2D-3D correspondences, enhancing feature matching and enabling drift-free camera tracking in a global LiDAR coordinate system. This approach addresses limitations of existing visual methods, improving accuracy and reliability in navigation and alignment of virtual and real content.

CRISTAL: Real-time Camera Registration in Static LiDAR Scans using Neural Rendering

arXiv:2511.16949v1 Announce Type: cross 
Abstract: Dense 3D semantic occupancy perception is critical for mobile robots operating in pedestrian-rich environments, yet it remains underexplored compared to its application in autonomous driving. To address this gap, we present MobileOcc, a semantic occupancy dataset for mobile robots operating in crowded human environments. Our dataset is built using an annotation pipeline that incorporates static object occupancy annotations and a novel mesh optimization framework explicitly designed for human occupancy modeling. It reconstructs deformable human geometry from 2D images and subsequently refines and optimizes it using associated LiDAR point data. Using MobileOcc, we establish benchmarks for two tasks, i) Occupancy prediction and ii) Pedestrian velocity prediction, using different methods including monocular, stereo, and panoptic occupancy, with metrics and baseline implementations for reproducible comparison. Beyond occupancy prediction, we further assess our annotation method on 3D human pose estimation datasets. Results demonstrate that our method exhibits robust performance across different datasets.

تم تقديم MobileOcc كأداة بيانات احتلال دلالية مصممة خصيصًا للروبوتات المتنقلة التي تعمل في بيئات بشرية مزدحمة، مما يعالج الحاجة الحرجة لإدراك احتلال دلالي ثلاثي الأبعاد كثيف غالبًا ما يتم تجاهله مقارنة بتطبيقات القيادة الذاتية.

MobileOcc se ha presentado como un conjunto de datos de ocupación semántica diseñado específicamente para robots móviles que navegan en entornos humanos concurridos, abordando la necesidad crítica de percepción de ocupación semántica 3D densa que a menudo se pasa por alto en comparación con las aplicaciones de conducción autónoma.

MobileOcc a été introduit comme un ensemble de données d'occupation sémantique spécifiquement conçu pour les robots mobiles naviguant dans des environnements humains encombrés, répondant au besoin critique de perception d'occupation sémantique 3D dense souvent négligée par rapport aux applications de conduite autonome.

MobileOcc has been introduced as a semantic occupancy dataset specifically designed for mobile robots navigating crowded human environments, addressing the critical need for dense 3D semantic occupancy perception that is often overlooked in comparison to autonomous driving applications.

CRISTAL: Real-time Camera Registration in Static LiDAR Scans using Neural Rendering

Was this article worth reading? Share it

Your AI Photographer

LucidQuery AI

sync. labs