arXiv:2511.07934v1 Announce Type: new 
Abstract: With the development of diffusion models, enhancing spatial controllability in text-to-image generation has become a vital challenge. As a representative task for addressing this challenge, layout-to-image generation aims to generate images that are spatially consistent with the given layout condition. Existing layout-to-image methods typically introduce the layout condition by integrating adapter modules into the base generative model. However, the generated images often exhibit low visual quality and stylistic inconsistency with the base model, indicating a loss of pretrained knowledge. To alleviate this issue, we construct the Layout Synthesis (LaySyn) dataset, which leverages images synthesized by the base model itself to mitigate the distribution shift from the pretraining data. Moreover, we propose the Layout Control (Laytrol) Network, in which parameters are inherited from MM-DiT to preserve the pretrained knowledge of the base model. To effectively activate the copied parameters and avoid disturbance from unstable control conditions, we adopt a dedicated initialization scheme for Laytrol. In this scheme, the layout encoder is initialized as a pure text encoder to ensure that its output tokens remain within the data domain of MM-DiT. Meanwhile, the outputs of the layout control network are initialized to zero. In addition, we apply Object-level Rotary Position Embedding to the layout tokens to provide coarse positional information. Qualitative and quantitative experiments demonstrate the effectiveness of our method.

تقدم الورقة Laytrol، وهي شبكة مصممة لتعزيز التحكم المكاني في توليد الصور من النص مع الحفاظ على المعرفة المدربة مسبقًا. تتناول التحدي المتمثل في انخفاض الجودة البصرية وعدم الاتساق الأسلوبي في الصور المولدة من خلال بناء مجموعة بيانات Layout Synthesis (LaySyn) وتنفيذ مخطط تهيئة مخصص لمشفّر التخطيط. هذه التطورات مهمة لتحسين فعالية المحولات متعددة الوسائط في توليد صور عالية الجودة.

El artículo presenta Laytrol, una red diseñada para mejorar el control espacial en la generación de imágenes a partir de texto mientras preserva el conocimiento preentrenado. Aborda el desafío de la baja calidad visual y la inconsistencia estilística en las imágenes generadas mediante la construcción del conjunto de datos Layout Synthesis (LaySyn) y la implementación de un esquema de inicialización dedicado para el codificador de diseño. Este avance es significativo para mejorar la efectividad de los transformadores de difusión multimodal en la generación de imágenes de alta calidad.

L'article présente Laytrol, un réseau conçu pour améliorer le contrôle spatial dans la génération d'images à partir de texte tout en préservant les connaissances préentraînées. Il aborde le défi de la faible qualité visuelle et de l'incohérence stylistique des images générées en construisant le jeu de données Layout Synthesis (LaySyn) et en mettant en œuvre un schéma d'initialisation dédié pour l'encodeur de mise en page. Cette avancée est significative pour améliorer l'efficacité des transformateurs de diffusion multimodaux dans la génération d'images de haute qualité.

The paper introduces Laytrol, a network designed to enhance spatial control in text-to-image generation while preserving pretrained knowledge. It addresses the challenge of low visual quality and stylistic inconsistency in generated images by constructing the Layout Synthesis (LaySyn) dataset and implementing a dedicated initialization scheme for the layout encoder. This advancement is significant for improving the effectiveness of multimodal diffusion transformers in generating high-quality images.

Laytrol: Preserving Pretrained Knowledge in Layout Control for Multimodal Diffusion Transformers

arXiv:2511.14109v1 Announce Type: new 
Abstract: Visual Place Recognition (VPR) aims to match query images against a database using visual cues. State-of-the-art methods aggregate features from deep backbones to form global descriptors. Optimal transport-based aggregation methods reformulate feature-to-cluster assignment as a transport problem, but the standard Sinkhorn algorithm symmetrically treats source and target marginals, limiting effectiveness when image features and cluster centers exhibit substantially different distributions. We propose an asymmetric aggregation VPR method with geometric constraints for locally aggregated descriptors, called $A^2$GC-VPR. Our method employs row-column normalization averaging with separate marginal calibration, enabling asymmetric matching that adapts to distributional discrepancies in visual place recognition. Geometric constraints are incorporated through learnable coordinate embeddings, computing compatibility scores fused with feature similarities, thereby promoting spatially proximal features to the same cluster and enhancing spatial awareness. Experimental results on MSLS, NordLand, and Pittsburgh datasets demonstrate superior performance, validating the effectiveness of our approach in improving matching accuracy and robustness.

$A^2$GC-VPR هو أسلوب جديد للتعرف على الأماكن البصرية (VPR) يتناول قيود أساليب التجميع التقليدية في مطابقة صور الاستعلام مع قاعدة بيانات. من خلال اعتماد نهج تجميع غير متماثل مع قيود هندسية، يعزز هذا الأسلوب فعالية مطابقة الميزات، خاصة عند التعامل مع توزيعات متباينة لميزات الصورة ومراكز التجمع. تستخدم التقنية متوسطات تطبيع الصفوف والأعمدة مع تضمينات إحداثيات قابلة للتعلم لتحسين درجات التوافق لوصفيات التجميع المحلي.

$A^2$GC-VPR es un nuevo método para el Reconocimiento Visual de Lugares (VPR) que aborda las limitaciones de los métodos de agregación tradicionales al emparejar imágenes de consulta con una base de datos. Al emplear un enfoque de agregación asimétrica con restricciones geométricas, este método mejora la efectividad del emparejamiento de características, especialmente cuando se enfrentan a distribuciones variables de características de imagen y centros de clúster. La técnica utiliza promedios de normalización fila-columna y embeddings de coordenadas aprendibles para mejorar las puntuaciones de…

$A^2$GC-VPR est une nouvelle méthode pour la reconnaissance de lieux visuels (VPR) qui s'attaque aux limites des méthodes d'agrégation traditionnelles dans l'appariement d'images de requête à une base de données. En adoptant une approche d'agrégation asymétrique avec des contraintes géométriques, cette méthode améliore l'efficacité de l'appariement des caractéristiques, en particulier lorsqu'il s'agit de distributions variées des caractéristiques d'image et des centres de clusters. La technique utilise une moyenne de normalisation ligne-colonne et des embeddings de coordonnées apprenables pour…

$A^2$GC-VPR is a new method for Visual Place Recognition (VPR) that addresses the limitations of traditional aggregation methods in matching query images to a database. By employing an asymmetric aggregation approach with geometric constraints, this method enhances the effectiveness of feature matching, particularly when dealing with varying distributions of image features and cluster centers. The technique utilizes row-column normalization averaging and learnable coordinate embeddings to improve compatibility scores for locally aggregated descriptors.

$A^2$GC: $A$symmetric $A$ggregation with Geometric Constraints for Locally Aggregated Descriptors

arXiv:2511.13911v1 Announce Type: new 
Abstract: Despite recent progress in predicting biomarker trajectories from real clinical data, uncertainty in the predictions poses high-stakes risks (e.g., misdiagnosis) that limit their clinical deployment. To enable safe and reliable use of such predictions in healthcare, we introduce a conformal method for uncertainty-calibrated prediction of biomarker trajectories resulting from randomly-timed clinical visits of patients. Our approach extends conformal prediction to the setting of randomly-timed trajectories via a novel nonconformity score that produces prediction bands guaranteed to cover the unknown biomarker trajectories with a user-prescribed probability. We apply our method across a wide range of standard and state-of-the-art predictors for two well-established brain biomarkers of Alzheimer's disease, using neuroimaging data from real clinical studies. We observe that our conformal prediction bands consistently achieve the desired coverage, while also being tighter than baseline prediction bands. To further account for population heterogeneity, we develop group-conditional conformal bands and test their coverage guarantees across various demographic and clinically relevant subpopulations. Moreover, we demonstrate the clinical utility of our conformal bands in identifying subjects at high risk of progression to Alzheimer's disease. Specifically, we introduce an uncertainty-calibrated risk score that enables the identification of 17.5% more high-risk subjects compared to standard risk scores, highlighting the value of uncertainty calibration in real-world clinical decision making. Our code is available at github.com/vatass/ConformalBiomarkerTrajectories.

تم تطوير طريقة جديدة للتنبؤ بمسارات المؤشرات الحيوية في مرض الزهايمر، حيث تعالج عدم اليقين في التنبؤات السريرية. تتيح هذه التقنية التنبؤية المتوافقة إجراء تنبؤات موثوقة من الزيارات السريرية التي تتم في أوقات عشوائية، مما يضمن أن تغطي نطاقات التنبؤ المسارات الفعلية للمؤشرات الحيوية باحتمالية محددة. تم اختبار النهج باستخدام بيانات التصوير العصبي من دراسات سريرية معروفة، مما يوضح فعاليته في تعزيز أمان التطبيقات السريرية.

Se ha desarrollado un nuevo método para predecir las trayectorias de biomarcadores en la enfermedad de Alzheimer, abordando la incertidumbre en las predicciones clínicas. Esta técnica de predicción conforme permite pronósticos fiables a partir de visitas clínicas programadas aleatoriamente, asegurando que las bandas de predicción cubran las trayectorias reales de los biomarcadores con una probabilidad especificada. El enfoque se probó utilizando datos de neuroimagen de estudios clínicos establecidos, demostrando su eficacia para mejorar la seguridad de las aplicaciones clínicas.

Une nouvelle méthode de prédiction des trajectoires de biomarqueurs dans la maladie d'Alzheimer a été développée, abordant l'incertitude des prédictions cliniques. Cette technique de prédiction conforme permet des prévisions fiables à partir de visites cliniques chronométrées de manière aléatoire, garantissant que les bandes de prédiction couvrent les trajectoires réelles des biomarqueurs avec une probabilité spécifiée. L'approche a été testée à l'aide de données d'imagerie cérébrale provenant d'études cliniques établies, démontrant son efficacité pour améliorer la sécurité des applications cl…

A new method for predicting biomarker trajectories in Alzheimer's disease has been developed, addressing the uncertainty in clinical predictions. This conformal prediction technique allows for reliable forecasts from randomly-timed clinical visits, ensuring that the prediction bands cover the actual biomarker trajectories with a specified probability. The approach was tested using neuroimaging data from established clinical studies, demonstrating its effectiveness in enhancing the safety of clinical applications.

Uncertainty-Calibrated Prediction of Randomly-Timed Biomarker Trajectories with Conformal Bands

arXiv:2511.14021v1 Announce Type: new 
Abstract: Humans can easily identify anatomical planes (axial, coronal, and sagittal) on a 2D MRI slice, but automated systems struggle with this task. Missing plane orientation metadata can complicate analysis, increase domain shift when merging heterogeneous datasets, and reduce accuracy of diagnostic classifiers. This study develops a classifier that accurately generates plane orientation metadata. We adopt a 2.5D context-aware model that leverages multi-slice information to avoid ambiguity from isolated slices and enable robust feature learning. We train the 2.5D model on both 3D slice sequences and static 2D images. While our 2D reference model achieves 98.74% accuracy, our 2.5D method raises this to 99.49%, reducing errors by 60%, highlighting the importance of 2.5D context. We validate the utility of our generated metadata in a brain tumor detection task. A gated strategy selectively uses metadata-enhanced predictions based on uncertainty scores, boosting accuracy from 97.0% with an image-only model to 98.0%, reducing misdiagnoses by 33.3%. We integrate our plane orientation model into an interactive web application and provide it open-source.

تقدم دراسة جديدة نموذجًا ثلاثي الأبعاد 2.5 يعتمد على السياق للكشف عن اتجاهات الطائرات في التصوير بالرنين المغناطيسي، مما يعالج التحديات التي تواجهها الأنظمة الآلية في تحديد الطائرات التشريحية. يستخدم النموذج معلومات متعددة الشرائح لتحسين تعلم الميزات وتقليل الغموض، محققًا معدل دقة يبلغ 99.49% مقارنة بـ 98.74% للنماذج ثنائية الأبعاد التقليدية. تعتبر هذه الخطوة مهمة بشكل خاص لتحسين مصنّفات التشخيص وتسهيل الكشف عن الأورام الدماغية من خلال توليد بيانات وصفية دقيقة حول اتجاه الطائرات.

Un nuevo estudio presenta un modelo 2.5D consciente del contexto para la detección de orientaciones de planos en resonancias magnéticas (IRM), abordando los desafíos que enfrentan los sistemas automatizados para identificar planos anatómicos. El modelo utiliza información de múltiples cortes para mejorar el aprendizaje de características y reducir la ambigüedad, logrando una tasa de precisión del 99.49% en comparación con el 98.74% de los modelos 2D tradicionales. Este avance es particularmente significativo para mejorar los clasificadores diagnósticos y facilitar la detección de tumores cereb…

Une nouvelle étude présente un modèle 2.5D contextuel pour la détection des orientations des plans IRM, répondant aux défis rencontrés par les systèmes automatisés pour identifier les plans anatomiques. Le modèle utilise des informations multi-coupes pour améliorer l'apprentissage des caractéristiques et réduire l'ambiguïté, atteignant un taux de précision de 99,49 % contre 98,74 % pour les modèles 2D traditionnels. Cette avancée est particulièrement significative pour améliorer les classificateurs diagnostiques et faciliter la détection des tumeurs cérébrales en générant des métadonnées préci…

A new study presents a context-aware 2.5D model for detecting MRI plane orientations, addressing challenges faced by automated systems in identifying anatomical planes. The model utilizes multi-slice information to enhance feature learning and reduce ambiguity, achieving a 99.49% accuracy rate compared to 98.74% for traditional 2D models. This advancement is particularly significant for improving diagnostic classifiers and facilitating brain tumor detection by generating accurate plane orientation metadata.

MRI Plane Orientation Detection using a Context-Aware 2.5D Model

arXiv:2511.14093v1 Announce Type: new 
Abstract: Cross-view object Geo-localization aims to precisely pinpoint the same object across large-scale satellite imagery based on drone images. Due to significant differences in viewpoint and scale, coupled with complex background interference, traditional multi-stage "retrieval-matching" pipelines are prone to cumulative errors. To address this, we present SMGeo, a promptable end-to-end transformer-based model for object Geo-localization. This model supports click prompting and can output object Geo-localization in real time when prompted to allow for interactive use. The model employs a fully transformer-based architecture, utilizing a Swin-Transformer for joint feature encoding of both drone and satellite imagery and an anchor-free transformer detection head for coordinate regression. In order to better capture both inter-modal and intra-view dependencies, we introduce a grid-level sparse Mixture-of-Experts (GMoE) into the cross-view encoder, allowing it to adaptively activate specialized experts according to the content, scale and source of each grid. We also employ an anchor-free detection head for coordinate regression, directly predicting object locations via heat-map supervision in the reference images. This approach avoids scale bias and matching complexity introduced by predefined anchor boxes. On the drone-to-satellite task, SMGeo achieves leading performance in accuracy at IoU=0.25 and mIoU metrics (e.g., 87.51%, 62.50%, and 61.45% in the test set, respectively), significantly outperforming representative methods such as DetGeo (61.97%, 57.66%, and 54.05%, respectively). Ablation studies demonstrate complementary gains from shared encoding, query-guided fusion, and grid-level sparse mixture-of-experts.

SMGeo هو نموذج جديد يعتمد على المحولات مصمم لتحديد المواقع الجغرافية للأجسام عبر وجهات نظر مختلفة، مما يتيح تحديدًا دقيقًا لنفس الجسم عبر الصور الساتلية وصور الطائرات بدون طيار. تواجه الطرق التقليدية أخطاء تراكمية بسبب الاختلافات في وجهات النظر والمقياس. يتعامل SMGeo مع هذه التحديات من خلال بنية تعتمد بالكامل على المحولات، باستخدام Swin-Transformer لترميز الميزات ورأس كشف بدون مرساة لعملية الانحدار الإحداثي. يسمح النموذج بتحديد المواقع الجغرافية في الوقت الفعلي عند الطلب، مما يعزز الاستخدام التفاعلي.

SMGeo es un nuevo modelo basado en transformadores diseñado para la geo-localización de objetos en vista cruzada, permitiendo la identificación precisa del mismo objeto a través de imágenes satelitales y de drones. Los métodos tradicionales suelen enfrentar errores acumulativos debido a diferencias en el punto de vista y la escala. SMGeo aborda estos desafíos con una arquitectura completamente basada en transformadores, utilizando un Swin-Transformer para la codificación de características y una cabeza de detección sin ancla para la regresión de coordenadas. El modelo permite la geo-localizaci…

SMGeo est un nouveau modèle basé sur des transformateurs conçu pour la géolocalisation d'objets en vue croisée, permettant une identification précise du même objet à travers des images satellites et de drones. Les méthodes traditionnelles rencontrent souvent des erreurs cumulatives en raison des différences de point de vue et d'échelle. SMGeo répond à ces défis avec une architecture entièrement basée sur des transformateurs, utilisant un Swin-Transformer pour l'encodage des caractéristiques et une tête de détection sans ancre pour la régression des coordonnées. Le modèle permet une géolocalisa…

SMGeo is a new transformer-based model designed for cross-view object geo-localization, enabling precise identification of the same object across satellite and drone imagery. Traditional methods often face cumulative errors due to differences in viewpoint and scale. SMGeo addresses these challenges with a fully transformer architecture, utilizing a Swin-Transformer for feature encoding and an anchor-free detection head for coordinate regression. The model allows for real-time geo-localization through click prompting, enhancing interactive usability.

SMGeo: Cross-View Object Geo-Localization with Grid-Level Mixture-of-Experts

arXiv:2511.14086v1 Announce Type: new 
Abstract: Despite recent progress in 3D-LLMs, they remain limited in accurately grounding language to visual and spatial elements in 3D environments. This limitation stems in part from training data that focuses on language reasoning rather than spatial understanding due to scarce 3D resources, leaving inherent grounding biases unresolved. To address this, we propose 3D scene editing as a key mechanism to generate precise visual counterfactuals that mitigate these biases through fine-grained spatial manipulation, without requiring costly scene reconstruction or large-scale 3D data collection. Furthermore, to make these edits targeted and directly address the specific weaknesses of the model, we introduce DEER-3D, an error-driven framework following a structured "Decompose, Diagnostic Evaluation, Edit, and Re-train" workflow, rather than broadly or randomly augmenting data as in conventional approaches. Specifically, upon identifying a grounding failure of the 3D-LLM, our framework first diagnoses the exact predicate-level error (e.g., attribute or spatial relation). It then executes minimal, predicate-aligned 3D scene edits, such as recoloring or repositioning, to produce targeted counterfactual supervision for iterative model fine-tuning, significantly enhancing grounding accuracy. We evaluate our editing pipeline across multiple benchmarks for 3D grounding and scene understanding tasks, consistently demonstrating improvements across all evaluated datasets through iterative refinement. DEER-3D underscores the effectiveness of targeted, error-driven scene editing in bridging linguistic reasoning capabilities with spatial grounding in 3D LLMs.

أظهرت التقدمات الأخيرة في نماذج اللغة ثلاثية الأبعاد (3D-LLMs) قيودها في ربط اللغة بدقة بالعناصر البصرية والمكانية في البيئات ثلاثية الأبعاد. تنبع هذه المشكلة من بيانات التدريب التي تركز على التفكير اللغوي بدلاً من الفهم المكاني، مما يترك تحيزات الربط غير محلولة. لمعالجة ذلك، تم اقتراح نهج جديد يسمى DEER-3D، الذي يستخدم تحرير المشاهد المدفوع بالأخطاء لإنشاء مضادات بصرية دقيقة، مما يسمح بالتلاعب المكاني الدقيق دون الحاجة إلى إعادة بناء المشهد المكلفة.

Los recientes avances en modelos de lenguaje 3D (3D-LLMs) han puesto de manifiesto sus limitaciones para anclar con precisión el lenguaje a elementos visuales y espaciales en entornos 3D. Este problema se debe a que los datos de entrenamiento se centran en el razonamiento lingüístico en lugar de en la comprensión espacial, lo que deja sin resolver los sesgos de anclaje. Para abordar esto, se propone un nuevo enfoque llamado DEER-3D, que utiliza la edición de escenas impulsada por errores para generar contrafactuales visuales precisos, permitiendo una manipulación espacial detallada sin necesid…

Les récents progrès des modèles de langage 3D (3D-LLMs) ont mis en évidence leurs limites dans l'ancrage précis du langage aux éléments visuels et spatiaux dans les environnements 3D. Ce problème découle de données d'entraînement qui mettent l'accent sur le raisonnement linguistique plutôt que sur la compréhension spatiale, entraînant des biais d'ancrage non résolus. Pour y remédier, une nouvelle approche appelée DEER-3D est proposée, qui utilise l'édition de scènes guidée par les erreurs pour créer des contrefactuels visuels précis, permettant une manipulation spatiale fine sans reconstructio…

Recent advancements in 3D large language models (3D-LLMs) have highlighted their limitations in accurately grounding language to visual and spatial elements in 3D environments. This issue arises from training data that emphasizes language reasoning over spatial understanding, leading to unresolved grounding biases. To tackle this, a new approach called DEER-3D is proposed, which utilizes error-driven scene editing to create precise visual counterfactuals. This method allows for fine-grained spatial manipulation without the need for extensive scene reconstruction or large-scale data collection.

Error-Driven Scene Editing for 3D Grounding in Large Language Models

arXiv:2511.14149v1 Announce Type: new 
Abstract: Recent trends in SLAM and visual navigation have embraced 3D Gaussians as the preferred scene representation, highlighting the importance of estimating camera poses from a single image using a pre-built Gaussian model. However, existing approaches typically rely on an iterative \textit{render-compare-refine} loop, where candidate views are first rendered using NeRF or Gaussian Splatting, then compared against the target image, and finally, discrepancies are used to update the pose. This multi-round process incurs significant computational overhead, hindering real-time performance in robotics. In this paper, we propose iGaussian, a two-stage feed-forward framework that achieves real-time camera pose estimation through direct 3D Gaussian inversion. Our method first regresses a coarse 6DoF pose using a Gaussian Scene Prior-based Pose Regression Network with spatial uniform sampling and guided attention mechanisms, then refines it through feature matching and multi-model fusion. The key contribution lies in our cross-correlation module that aligns image embeddings with 3D Gaussian attributes without differentiable rendering, coupled with a Weighted Multiview Predictor that fuses features from Multiple strategically sampled viewpoints. Experimental results on the NeRF Synthetic, Mip-NeRF 360, and T\&T+DB datasets demonstrate a significant performance improvement over previous methods, reducing median rotation errors to 0.2{\deg} while achieving 2.87 FPS tracking on mobile robots, which is an impressive 10 times speedup compared to optimization-based approaches. Code: https://github.com/pythongod-exe/iGaussian

تقدم الورقة iGaussian، وهو إطار جديد لتقدير وضع الكاميرا في الوقت الحقيقي باستخدام نهج التغذية الأمامية القائم على عكس التوزيع الغاوسي ثلاثي الأبعاد. تعالج هذه الطريقة القيود المفروضة على العمليات التكرارية التقليدية في الملاحة البصرية وSLAM، والتي غالبًا ما تتطلب عبئًا حسابيًا كبيرًا. من خلال استخدام إطار من مرحلتين، تقوم iGaussian أولاً بتقدير وضع 6DoF تقريبي ثم تقوم بتحسينه، مما يسمح بتقدير أسرع وأكثر كفاءة لوضع الكاميرا من صورة واحدة.

El artículo presenta iGaussian, un nuevo marco para la estimación de la pose de la cámara en tiempo real mediante un enfoque feed-forward basado en la inversión de splatting gaussiano 3D. Este método aborda las limitaciones de los procesos iterativos tradicionales en la navegación visual y SLAM, que a menudo implican una sobrecarga computacional significativa. Al emplear un marco de dos etapas, iGaussian primero estima una pose 6DoF gruesa y luego la refina, permitiendo una estimación de pose de cámara más rápida y eficiente a partir de una sola imagen.

L'article présente iGaussian, un nouveau cadre pour l'estimation de pose de caméra en temps réel utilisant une approche feed-forward basée sur l'inversion de splatting gaussien 3D. Cette méthode répond aux limitations des processus itératifs traditionnels dans la navigation visuelle et le SLAM, qui impliquent souvent une surcharge computationnelle significative. En employant un cadre en deux étapes, iGaussian estime d'abord une pose 6DoF grossière, puis la raffine, permettant une estimation de pose de caméra plus rapide et efficace à partir d'une seule image.

The paper introduces iGaussian, a novel framework for real-time camera pose estimation using a feed-forward approach based on 3D Gaussian splatting inversion. This method addresses the limitations of traditional iterative processes in visual navigation and SLAM, which often involve significant computational overhead. By employing a two-stage framework, iGaussian first estimates a coarse 6DoF pose and then refines it, enabling faster and more efficient camera pose estimation from a single image.

Laytrol: Preserving Pretrained Knowledge in Layout Control for Multimodal Diffusion Transformers

Was this article worth reading? Share it