arXiv:2509.11171v2 Announce Type: replace 
Abstract: Camera-based 3D Semantic Scene Completion (SSC) is a critical task in autonomous driving systems, assessing voxel-level geometry and semantics for holistic scene perception. While existing voxel-based and plane-based SSC methods have achieved considerable progress, they struggle to capture physical regularities for realistic geometric details. On the other hand, neural reconstruction methods like NeRF and 3DGS demonstrate superior physical awareness, but suffer from high computational cost and slow convergence when handling large-scale, complex autonomous driving scenes, leading to inferior semantic accuracy. To address these issues, we propose the Semantic-PHysical Engaged REpresentation (SPHERE) for camera-based SSC, which integrates voxel and Gaussian representations for joint exploitation of semantic and physical information. First, the Semantic-guided Gaussian Initialization (SGI) module leverages dual-branch 3D scene representations to locate focal voxels as anchors to guide efficient Gaussian initialization. Then, the Physical-aware Harmonics Enhancement (PHE) module incorporates semantic spherical harmonics to model physical-aware contextual details and promote semantic-geometry consistency through focal distribution alignment, generating SSC results with realistic details. Extensive experiments and analyses on the popular SemanticKITTI and SSCBench-KITTI-360 benchmarks validate the effectiveness of SPHERE. The code is available at https://github.com/PKU-ICST-MIPL/SPHERE_ACMMM2025.

إطار SPHERE، الذي تم تقديمه في منشور حديث على arXiv، يعزز إكمال المشهد السيميائي ثلاثي الأبعاد القائم على الكاميرات من خلال دمج تمثيلات الفوكسل والغوس. تتناول هذه الطريقة قيود الأساليب الحالية، التي تكافح لالتقاط التفاصيل الهندسية الواقعية وتعاني من تكاليف حسابية عالية. تم التحقق من فعالية SPHERE من خلال تجارب شاملة على معايير مثل SemanticKITTI و SSCBench-KITTI-360، مما يمثل تقدمًا كبيرًا في تكنولوجيا القيادة الذاتية.

El marco SPHERE, presentado en una reciente publicación de arXiv, mejora la finalización semántica de escenas 3D basada en cámaras al integrar representaciones voxel y gaussiana. Este enfoque aborda las limitaciones de los métodos existentes, que luchan por capturar detalles geométricos realistas y sufren de altos costos computacionales. La efectividad de SPHERE ha sido validada a través de experimentos extensivos en benchmarks como SemanticKITTI y SSCBench-KITTI-360, marcando un avance significativo en la tecnología de conducción autónoma.

Le cadre SPHERE, présenté dans une récente publication sur arXiv, améliore la complétion sémantique de scènes 3D basée sur des caméras en intégrant des représentations voxel et gaussienne. Cette approche répond aux limites des méthodes existantes, qui peinent à capturer des détails géométriques réalistes et souffrent de coûts computationnels élevés. L'efficacité de SPHERE a été validée par des expériences approfondies sur des benchmarks tels que SemanticKITTI et SSCBench-KITTI-360, marquant une avancée significative dans la technologie de conduite autonome.

The SPHERE framework, introduced in a recent arXiv publication, enhances camera-based 3D Semantic Scene Completion (SSC) by integrating voxel and Gaussian representations. This approach addresses limitations of existing methods, which struggle with capturing realistic geometric details and suffer from high computational costs. SPHERE's effectiveness has been validated through extensive experiments on benchmarks like SemanticKITTI and SSCBench-KITTI-360, marking a significant advancement in autonomous driving technology.

SPHERE: Semantic-PHysical Engaged REpresentation for 3D Semantic Scene Completion

arXiv:2511.14109v1 Announce Type: new 
Abstract: Visual Place Recognition (VPR) aims to match query images against a database using visual cues. State-of-the-art methods aggregate features from deep backbones to form global descriptors. Optimal transport-based aggregation methods reformulate feature-to-cluster assignment as a transport problem, but the standard Sinkhorn algorithm symmetrically treats source and target marginals, limiting effectiveness when image features and cluster centers exhibit substantially different distributions. We propose an asymmetric aggregation VPR method with geometric constraints for locally aggregated descriptors, called $A^2$GC-VPR. Our method employs row-column normalization averaging with separate marginal calibration, enabling asymmetric matching that adapts to distributional discrepancies in visual place recognition. Geometric constraints are incorporated through learnable coordinate embeddings, computing compatibility scores fused with feature similarities, thereby promoting spatially proximal features to the same cluster and enhancing spatial awareness. Experimental results on MSLS, NordLand, and Pittsburgh datasets demonstrate superior performance, validating the effectiveness of our approach in improving matching accuracy and robustness.

$A^2$GC-VPR هو أسلوب جديد للتعرف على الأماكن البصرية (VPR) يتناول قيود أساليب التجميع التقليدية في مطابقة صور الاستعلام مع قاعدة بيانات. من خلال اعتماد نهج تجميع غير متماثل مع قيود هندسية، يعزز هذا الأسلوب فعالية مطابقة الميزات، خاصة عند التعامل مع توزيعات متباينة لميزات الصورة ومراكز التجمع. تستخدم التقنية متوسطات تطبيع الصفوف والأعمدة مع تضمينات إحداثيات قابلة للتعلم لتحسين درجات التوافق لوصفيات التجميع المحلي.

$A^2$GC-VPR es un nuevo método para el Reconocimiento Visual de Lugares (VPR) que aborda las limitaciones de los métodos de agregación tradicionales al emparejar imágenes de consulta con una base de datos. Al emplear un enfoque de agregación asimétrica con restricciones geométricas, este método mejora la efectividad del emparejamiento de características, especialmente cuando se enfrentan a distribuciones variables de características de imagen y centros de clúster. La técnica utiliza promedios de normalización fila-columna y embeddings de coordenadas aprendibles para mejorar las puntuaciones de…

$A^2$GC-VPR est une nouvelle méthode pour la reconnaissance de lieux visuels (VPR) qui s'attaque aux limites des méthodes d'agrégation traditionnelles dans l'appariement d'images de requête à une base de données. En adoptant une approche d'agrégation asymétrique avec des contraintes géométriques, cette méthode améliore l'efficacité de l'appariement des caractéristiques, en particulier lorsqu'il s'agit de distributions variées des caractéristiques d'image et des centres de clusters. La technique utilise une moyenne de normalisation ligne-colonne et des embeddings de coordonnées apprenables pour…

$A^2$GC-VPR is a new method for Visual Place Recognition (VPR) that addresses the limitations of traditional aggregation methods in matching query images to a database. By employing an asymmetric aggregation approach with geometric constraints, this method enhances the effectiveness of feature matching, particularly when dealing with varying distributions of image features and cluster centers. The technique utilizes row-column normalization averaging and learnable coordinate embeddings to improve compatibility scores for locally aggregated descriptors.

$A^2$GC: $A$symmetric $A$ggregation with Geometric Constraints for Locally Aggregated Descriptors

arXiv:2511.14247v1 Announce Type: new 
Abstract: Multi-agents rely on accurate poses to share and align observations, enabling a collaborative perception of the environment. However, traditional GNSS-based localization often fails in GNSS-denied environments, making consistent feature alignment difficult in collaboration. To tackle this challenge, we propose a robust GNSS-free collaborative perception framework based on LiDAR localization. Specifically, we propose a lightweight Pose Generator with Confidence (PGC) to estimate compact pose and confidence representations. To alleviate the effects of localization errors, we further develop the Pose-Aware Spatio-Temporal Alignment Transformer (PASTAT), which performs confidence-aware spatial alignment while capturing essential temporal context. Additionally, we present a new simulation dataset, V2VLoc, which can be adapted for both LiDAR localization and collaborative detection tasks. V2VLoc comprises three subsets: Town1Loc, Town4Loc, and V2VDet. Town1Loc and Town4Loc offer multi-traversal sequences for training in localization tasks, whereas V2VDet is specifically intended for the collaborative detection task. Extensive experiments conducted on the V2VLoc dataset demonstrate that our approach achieves state-of-the-art performance under GNSS-denied conditions. We further conduct extended experiments on the real-world V2V4Real dataset to validate the effectiveness and generalizability of PASTAT.

يقدم المقال إطارًا جديدًا للإدراك التعاوني بدون GNSS باستخدام تحديد المواقع بواسطة LiDAR، حيث يتناول التحديات التي تواجهها البيئات التي تفتقر إلى GNSS. غالبًا ما تواجه طرق تحديد المواقع التقليدية صعوبات في هذه البيئات، مما يعيق التعاون الفعال بين أنظمة الوكلاء المتعددة. تتضمن الحلول المقترحة مولد وضع خفيف الوزن مع ثقة (PGC) لتقدير الأوضاع وتمثيلات الثقة، بالإضافة إلى محول التوافق الزماني المكاني الواعي بالوضع (PASTAT) الذي يقوم بأداء التوافق المكاني مع مراعاة الثقة. كما تم تقديم مجموعة بيانات محاكاة جديدة، V2VLoc، التي يمكن تكييفها لمهام تحديد المواقع بواسطة LiDAR والاكتشاف التعاوني.

El artículo presenta un nuevo marco para la percepción colaborativa sin GNSS utilizando la localización por LiDAR, abordando los desafíos que se enfrentan en entornos sin GNSS. Los métodos de localización tradicionales a menudo tienen dificultades en estos entornos, lo que dificulta la colaboración efectiva entre sistemas multiagente. La solución propuesta incluye un Generador de Pose con Confianza (PGC) para estimar poses y confianza, junto con el Transformador de Alineación Espacio-Temporal Consciente de la Pose (PASTAT) para el alineamiento espacial. Se introduce un nuevo conjunto de datos …

L'article présente un nouveau cadre pour la perception collaborative sans GNSS utilisant la localisation par LiDAR, abordant les défis rencontrés dans les environnements privés de GNSS. Les méthodes de localisation traditionnelles peinent souvent dans ces contextes, entravant la collaboration efficace entre systèmes multi-agents. La solution proposée comprend un générateur de pose léger avec confiance (PGC) pour estimer les poses et la confiance, ainsi qu'un transformateur d'alignement spatio-temporel conscient de la pose (PASTAT) pour l'alignement spatial. Un nouveau jeu de données de simulat…

The article presents a new framework for GNSS-free collaborative perception using LiDAR localization, addressing the challenges faced in GNSS-denied environments. Traditional localization methods often struggle in these settings, hindering effective collaboration among multi-agent systems. The proposed solution includes a lightweight Pose Generator with Confidence (PGC) for estimating poses and confidence, alongside the Pose-Aware Spatio-Temporal Alignment Transformer (PASTAT) for spatial alignment. A new simulation dataset, V2VLoc, is introduced, which supports LiDAR localization and collabor…

V2VLoc: Robust GNSS-Free Collaborative Perception via LiDAR Localization

arXiv:2511.14210v1 Announce Type: new 
Abstract: We introduce Orion, a visual agent framework that can take in any modality and generate any modality. Using an agentic framework with multiple tool-calling capabilities, Orion is designed for visual AI tasks and achieves state-of-the-art results. Unlike traditional vision-language models that produce descriptive outputs, Orion orchestrates a suite of specialized computer vision tools, including object detection, keypoint localization, panoptic segmentation, Optical Character Recognition, and geometric analysis, to execute complex multi-step visual workflows. The system achieves competitive performance on MMMU, MMBench, DocVQA, and MMLongBench while extending monolithic vision-language models to production-grade visual intelligence. By combining neural perception with symbolic execution, Orion enables autonomous visual reasoning, marking a transition from passive visual understanding to active, tool-driven visual intelligence.

أورايون هو إطار جديد لوكيل بصري قادر على معالجة وتوليد أنماط متعددة. يستخدم إطارًا وكيلًا مع قدرات متعددة لاستدعاء الأدوات، محققًا نتائج رائدة في مهام الذكاء الاصطناعي البصري. على عكس نماذج الرؤية-اللغة التقليدية، يستخدم أورايون أدوات رؤية حاسوبية متخصصة لتنفيذ سير عمل بصري معقد، محققًا أداءً تنافسيًا في معايير مثل MMMU وMMBench وDocVQA وMMLongBench. يمثل هذا النظام تحولًا نحو الاستدلال البصري المستقل، مما يعزز الذكاء البصري.

Orion es un nuevo marco de agente visual capaz de procesar y generar diversas modalidades. Utiliza un marco agentivo con múltiples capacidades de llamada a herramientas, logrando resultados de vanguardia en tareas de IA visual. A diferencia de los modelos tradicionales de visión-lenguaje, Orion emplea herramientas especializadas de visión por computadora para flujos de trabajo visuales complejos, alcanzando un rendimiento competitivo en benchmarks como MMMU, MMBench, DocVQA y MMLongBench. Este sistema marca una transición hacia el razonamiento visual autónomo, mejorando la inteligencia visual.

Orion est un nouveau cadre d'agent visuel capable de traiter et de générer diverses modalités. Il utilise un cadre agentique avec plusieurs capacités d'appel d'outils, atteignant des résultats de pointe dans les tâches d'IA visuelle. Contrairement aux modèles traditionnels de vision-langage, Orion utilise des outils de vision par ordinateur spécialisés pour des flux de travail visuels complexes, obtenant des performances compétitives sur des benchmarks tels que MMMU, MMBench, DocVQA et MMLongBench. Ce système marque un tournant vers le raisonnement visuel autonome, améliorant l'intelligence vi…

Orion is a newly introduced visual agent framework capable of processing and generating various modalities. It employs an agentic framework with multiple tool-calling capabilities, achieving state-of-the-art results in visual AI tasks. Unlike traditional vision-language models, Orion utilizes specialized computer vision tools for complex visual workflows, achieving competitive performance on benchmarks like MMMU, MMBench, DocVQA, and MMLongBench. This system marks a shift towards autonomous visual reasoning, enhancing visual intelligence.

Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution

arXiv:2511.14620v1 Announce Type: new 
Abstract: Falls are a leading cause of injury and loss of independence among older adults. Vision-based fall prediction systems offer a non-invasive solution to anticipate falls seconds before impact, but their development is hindered by the scarcity of available fall data. Contributing to these efforts, this study proposes the Biomechanical Spatio-Temporal Graph Convolutional Network (BioST-GCN), a dual-stream model that combines both pose and biomechanical information using a cross-attention fusion mechanism. Our model outperforms the vanilla ST-GCN baseline by 5.32% and 2.91% F1-score on the simulated MCF-UA stunt-actor and MUVIM datasets, respectively. The spatio-temporal attention mechanisms in the ST-GCN stream also provide interpretability by identifying critical joints and temporal phases. However, a critical simulation-reality gap persists. While our model achieves an 89.0% F1-score with full supervision on simulated data, zero-shot generalization to unseen subjects drops to 35.9%. This performance decline is likely due to biases in simulated data, such as `intent-to-fall' cues. For older adults, particularly those with diabetes or frailty, this gap is exacerbated by their unique kinematic profiles. To address this, we propose personalization strategies and advocate for privacy-preserving data pipelines to enable real-world validation. Our findings underscore the urgent need to bridge the gap between simulated and real-world data to develop effective fall prediction systems for vulnerable elderly populations.

تُعتبر السقوط من الأسباب الرئيسية للإصابات وفقدان الاستقلالية بين كبار السن. توفر أنظمة التنبؤ بالسقوط المعتمدة على الرؤية حلاً غير جراحي لتوقع السقوط قبل ثوانٍ من حدوثه، لكن تطويرها يواجه صعوبة بسبب نقص البيانات المتاحة عن السقوط. تقترح هذه الدراسة شبكة الالتفاف البيوميكانيكية الزمانية المكانية (BioST-GCN)، وهو نموذج ذو مسارين يجمع بين معلومات الوضعية والبيوميكانيكا من خلال آلية دمج الانتباه المتبادل. يتفوق نموذجنا على خط الأساس ST-GCN بنسبة 5.32% و2.91% في درجة F1 على مجموعات البيانات المحاكية MCF-UA وMUVIM على التوالي. ومع ذلك، لا تزال هناك فجوة حرجة بين المحاكاة والواقع.

Las caídas son una de las principales causas de lesiones y pérdida de independencia entre los adultos mayores. Los sistemas de predicción de caídas basados en visión ofrecen una solución no invasiva para anticipar caídas segundos antes del impacto, pero su desarrollo se ve obstaculizado por la escasez de datos sobre caídas. Este estudio propone la Red de Convolución Gráfica Espacio-Temporal Biomecánica (BioST-GCN), un modelo de doble flujo que combina información de postura y biomecánica mediante un mecanismo de fusión de atención cruzada. Nuestro modelo supera la línea base ST-GCN en un 5.32%…

Les chutes représentent une cause majeure de blessures et de perte d'autonomie chez les personnes âgées. Les systèmes de prédiction des chutes basés sur la vision offrent une méthode non invasive pour anticiper les chutes quelques secondes avant qu'elles ne se produisent, mais leur développement est freiné par le manque de données sur les chutes. Cette étude propose le Réseau de Convolution Graphique Spatio-Temporel Biomecanique (BioST-GCN), un modèle à double flux qui combine des informations de pose et biomécaniques via un mécanisme de fusion par attention croisée. Le modèle dépasse la référ…

Falls are a significant cause of injury and loss of independence among older adults. Vision-based fall prediction systems can provide a non-invasive method to anticipate falls moments before they occur, but their development is limited by the lack of available fall data. This study introduces the Biomechanical Spatio-Temporal Graph Convolutional Network (BioST-GCN), a dual-stream model that integrates pose and biomechanical data through a cross-attention fusion mechanism. The model surpasses the baseline ST-GCN by 5.32% and 2.91% F1-score on simulated datasets, while also offering insights int…

Fusing Biomechanical and Spatio-Temporal Features for Fall Prediction: Characterizing and Mitigating the Simulation-to-Reality Gap

arXiv:2511.13911v1 Announce Type: new 
Abstract: Despite recent progress in predicting biomarker trajectories from real clinical data, uncertainty in the predictions poses high-stakes risks (e.g., misdiagnosis) that limit their clinical deployment. To enable safe and reliable use of such predictions in healthcare, we introduce a conformal method for uncertainty-calibrated prediction of biomarker trajectories resulting from randomly-timed clinical visits of patients. Our approach extends conformal prediction to the setting of randomly-timed trajectories via a novel nonconformity score that produces prediction bands guaranteed to cover the unknown biomarker trajectories with a user-prescribed probability. We apply our method across a wide range of standard and state-of-the-art predictors for two well-established brain biomarkers of Alzheimer's disease, using neuroimaging data from real clinical studies. We observe that our conformal prediction bands consistently achieve the desired coverage, while also being tighter than baseline prediction bands. To further account for population heterogeneity, we develop group-conditional conformal bands and test their coverage guarantees across various demographic and clinically relevant subpopulations. Moreover, we demonstrate the clinical utility of our conformal bands in identifying subjects at high risk of progression to Alzheimer's disease. Specifically, we introduce an uncertainty-calibrated risk score that enables the identification of 17.5% more high-risk subjects compared to standard risk scores, highlighting the value of uncertainty calibration in real-world clinical decision making. Our code is available at github.com/vatass/ConformalBiomarkerTrajectories.

تم تطوير طريقة جديدة للتنبؤ بمسارات المؤشرات الحيوية في مرض الزهايمر، حيث تعالج عدم اليقين في التنبؤات السريرية. تتيح هذه التقنية التنبؤية المتوافقة إجراء تنبؤات موثوقة من الزيارات السريرية التي تتم في أوقات عشوائية، مما يضمن أن تغطي نطاقات التنبؤ المسارات الفعلية للمؤشرات الحيوية باحتمالية محددة. تم اختبار النهج باستخدام بيانات التصوير العصبي من دراسات سريرية معروفة، مما يوضح فعاليته في تعزيز أمان التطبيقات السريرية.

Se ha desarrollado un nuevo método para predecir las trayectorias de biomarcadores en la enfermedad de Alzheimer, abordando la incertidumbre en las predicciones clínicas. Esta técnica de predicción conforme permite pronósticos fiables a partir de visitas clínicas programadas aleatoriamente, asegurando que las bandas de predicción cubran las trayectorias reales de los biomarcadores con una probabilidad especificada. El enfoque se probó utilizando datos de neuroimagen de estudios clínicos establecidos, demostrando su eficacia para mejorar la seguridad de las aplicaciones clínicas.

Une nouvelle méthode de prédiction des trajectoires de biomarqueurs dans la maladie d'Alzheimer a été développée, abordant l'incertitude des prédictions cliniques. Cette technique de prédiction conforme permet des prévisions fiables à partir de visites cliniques chronométrées de manière aléatoire, garantissant que les bandes de prédiction couvrent les trajectoires réelles des biomarqueurs avec une probabilité spécifiée. L'approche a été testée à l'aide de données d'imagerie cérébrale provenant d'études cliniques établies, démontrant son efficacité pour améliorer la sécurité des applications cl…

A new method for predicting biomarker trajectories in Alzheimer's disease has been developed, addressing the uncertainty in clinical predictions. This conformal prediction technique allows for reliable forecasts from randomly-timed clinical visits, ensuring that the prediction bands cover the actual biomarker trajectories with a specified probability. The approach was tested using neuroimaging data from established clinical studies, demonstrating its effectiveness in enhancing the safety of clinical applications.

Uncertainty-Calibrated Prediction of Randomly-Timed Biomarker Trajectories with Conformal Bands

arXiv:2511.12511v2 Announce Type: replace 
Abstract: With growing concerns over image authenticity and digital safety, the field of AI-generated image (AIGI) detection has progressed rapidly. Yet, most AIGI detectors still struggle under real-world degradations, particularly motion blur, which frequently occurs in handheld photography, fast motion, and compressed video. Such blur distorts fine textures and suppresses high-frequency artifacts, causing severe performance drops in real-world settings. We address this limitation with a blur-robust AIGI detection framework based on teacher-student knowledge distillation. A high-capacity teacher (DINOv3), trained on clean (i.e., sharp) images, provides stable and semantically rich representations that serve as a reference for learning. By freezing the teacher to maintain its generalization ability, we distill its feature and logit responses from sharp images to a student trained on blurred counterparts, enabling the student to produce consistent representations under motion degradation. Extensive experiments benchmarks show that our method achieves state-of-the-art performance under both motion-blurred and clean conditions, demonstrating improved generalization and real-world applicability. Source codes will be released at: https://github.com/JiaLiangShen/Dino-Detect-for-blur-robust-AIGC-Detection.

DINO-Detect هو إطار جديد يهدف إلى تحسين الكشف عن الصور التي تم إنشاؤها بواسطة الذكاء الاصطناعي (AIGI) في ظروف الضبابية الناتجة عن الحركة، وهو أمر شائع في التصوير الفوتوغرافي الواقعي. غالبًا ما تفشل كواشف AIGI التقليدية عندما تتعرض الصور للتدهور بسبب الضبابية الناتجة عن الحركة، مما يؤدي إلى انخفاضات كبيرة في الأداء. يستخدم إطار DINO-Detect نهج تقطير المعرفة بين نموذج المعلم والطالب، حيث يقدم نموذج المعلم عالي السعة (DINOv3) المدرب على الصور الواضحة توجيهًا لنموذج الطالب المدرب على الصور الضبابية، مما يعزز دقة الكشف.

DINO-Detect es un nuevo marco diseñado para mejorar la detección de imágenes generadas por IA (AIGI) en condiciones de desenfoque por movimiento, que es común en la fotografía real. Los detectores de AIGI tradicionales a menudo fallan cuando las imágenes están degradadas por el desenfoque de movimiento, lo que provoca caídas significativas en el rendimiento. El marco DINO-Detect utiliza un enfoque de destilación de conocimiento entre un modelo maestro y un modelo estudiante, donde un modelo maestro de alta capacidad (DINOv3) entrenado con imágenes nítidas guía a un modelo estudiante entrenado …

DINO-Detect est un nouveau cadre développé pour améliorer la détection des images générées par l'IA (AIGI) dans des conditions de flou de mouvement, courant en photographie réelle. Les détecteurs AIGI traditionnels échouent souvent lorsque les images sont dégradées par le flou de mouvement, entraînant des baisses de performance significatives. Le cadre DINO-Detect utilise une approche de distillation des connaissances entre un enseignant et un étudiant, où un modèle enseignant de haute capacité (DINOv3) formé sur des images nettes guide un modèle étudiant formé sur des images floues, amélioran…

DINO-Detect is a newly developed framework aimed at improving the detection of AI-generated images (AIGI) under conditions of motion blur, which is common in real-world photography. Traditional AIGI detectors often fail when images are degraded by motion blur, leading to significant performance drops. The DINO-Detect framework utilizes a teacher-student knowledge distillation approach, where a high-capacity teacher model (DINOv3) trained on sharp images guides a student model trained on blurred images, enhancing detection accuracy.

DINO-Detect: A Simple yet Effective Framework for Blur-Robust AI-Generated Image Detection

arXiv:2504.15888v2 Announce Type: replace 
Abstract: Accurate 3D semantic occupancy perception is essential for autonomous driving in complex environments with diverse and irregular objects. While vision-centric methods suffer from geometric inaccuracies, LiDAR-based approaches often lack rich semantic information. To address these limitations, MS-Occ, a novel multi-stage LiDAR-camera fusion framework which includes middle-stage fusion and late-stage fusion, is proposed, integrating LiDAR's geometric fidelity with camera-based semantic richness via hierarchical cross-modal fusion. The framework introduces innovations at two critical stages: (1) In the middle-stage feature fusion, the Gaussian-Geo module leverages Gaussian kernel rendering on sparse LiDAR depth maps to enhance 2D image features with dense geometric priors, and the Semantic-Aware module enriches LiDAR voxels with semantic context via deformable cross-attention; (2) In the late-stage voxel fusion, the Adaptive Fusion (AF) module dynamically balances voxel features across modalities, while the High Classification Confidence Voxel Fusion (HCCVF) module resolves semantic inconsistencies using self-attention-based refinement. Experiments on two large-scale benchmarks demonstrate state-of-the-art performance. On nuScenes-OpenOccupancy, MS-Occ achieves an Intersection over Union (IoU) of 32.1% and a mean IoU (mIoU) of 25.3%, surpassing the state-of-the-art by +0.7% IoU and +2.4% mIoU. Furthermore, on the SemanticKITTI benchmark, our method achieves a new state-of-the-art mIoU of 24.08%, robustly validating its generalization capabilities.Ablation studies further confirm the effectiveness of each individual module, highlighting substantial improvements in the perception of small objects and reinforcing the practical value of MS-Occ for safety-critical autonomous driving scenarios.

يقدم المقال MS-Occ، وهو إطار عمل جديد لدمج بيانات LiDAR والكاميرا على مراحل متعددة يهدف إلى تحسين توقعات الإشغال السيمائي ثلاثي الأبعاد للقيادة الذاتية. يتناول هذا الإطار قيود الأساليب المعتمدة على الرؤية والنهج المعتمد على LiDAR من خلال دمج الدقة الهندسية مع الغنى السيمائي عبر دمج متعدد الوسائط هرمي. تشمل الابتكارات الرئيسية وحدة Gaussian-Geo لتعزيز الميزات وطريقة دمج تكيفية لدمج الفوكسلات، مما يعد بتحسين الأداء في البيئات المعقدة.

El artículo presenta MS-Occ, un nuevo marco de fusión LiDAR-cámara de múltiples etapas destinado a mejorar la predicción de ocupación semántica 3D para la conducción autónoma. Este marco aborda las limitaciones de los métodos centrados en la visión y de los enfoques basados en LiDAR al integrar la fidelidad geométrica y la riqueza semántica a través de una fusión cruzada jerárquica. Las innovaciones clave incluyen un módulo Gaussian-Geo para la mejora de características y un método de fusión adaptativa para la integración de vóxeles, prometiendo un mejor rendimiento en entornos complejos.

L'article présente MS-Occ, un nouveau cadre de fusion multi-niveaux LiDAR-caméra visant à améliorer la prédiction d'occupation sémantique 3D pour la conduite autonome. Ce cadre aborde les limitations des méthodes centrées sur la vision et des approches basées sur LiDAR en intégrant la fidélité géométrique et la richesse sémantique via une fusion croisée hiérarchique. Les innovations clés incluent un module Gaussian-Geo pour l'amélioration des caractéristiques et une méthode de fusion adaptative pour l'intégration des voxels, promettant de meilleures performances dans des environnements complex…

The article presents MS-Occ, a novel multi-stage LiDAR-camera fusion framework aimed at enhancing 3D semantic occupancy prediction for autonomous driving. This framework addresses the limitations of vision-centric methods and LiDAR-based approaches by integrating geometric fidelity and semantic richness through hierarchical cross-modal fusion. Key innovations include a Gaussian-Geo module for feature enhancement and an Adaptive Fusion method for voxel integration, promising improved performance in complex environments.

SPHERE: Semantic-PHysical Engaged REpresentation for 3D Semantic Scene Completion

Was this article worth reading? Share it