arXiv:2511.11066v1 Announce Type: new 
Abstract: Radiology Report Generation (RRG) aims to automatically generate diagnostic reports from radiology images. To achieve this, existing methods have leveraged the powerful cross-modal generation capabilities of Multimodal Large Language Models (MLLMs), primarily focusing on optimizing cross-modal alignment between radiographs and reports through Supervised Fine-Tuning (SFT). However, by only performing instance-level alignment with the image-text pairs, the standard SFT paradigm fails to establish anatomically-grounded alignment, where the templated nature of reports often leads to sub-optimal generation quality. To address this, we propose \textsc{S2D-Align}, a novel SFT paradigm that establishes anatomically-grounded alignment by leveraging auxiliary signals of varying granularities. \textsc{S2D-Align} implements a shallow-to-deep strategy, progressively enriching the alignment process: it begins with the coarse radiograph-report pairing, then introduces reference reports for instance-level guidance, and ultimately utilizes key phrases to ground the generation in specific anatomical details. To bridge the different alignment stages, we introduce a memory-based adapter that empowers feature sharing, thereby integrating coarse and fine-grained guidance. For evaluation, we conduct experiments on the public \textsc{MIMIC-CXR} and \textsc{IU X-Ray} benchmarks, where \textsc{S2D-Align} achieves state-of-the-art performance compared to existing methods. Ablation studies validate the effectiveness of our multi-stage, auxiliary-guided approach, highlighting a promising direction for enhancing grounding capabilities in complex, multi-modal generation tasks.

تقدم الورقة المعنونة 'S2D-ALIGN: التعلم المساعد من السطحي إلى العميق لتوليد تقارير الأشعة المستندة إلى التشريح' نهجًا جديدًا لتوليد تقارير الأشعة (RRG). تهدف هذه الطريقة إلى توليد تقارير تشخيصية تلقائيًا من صور الأشعة باستخدام نماذج اللغة متعددة الوسائط (MLLMs). تركز الطرق التقليدية على محاذاة متعددة الوسائط من خلال التعديل الخاضع للإشراف (SFT)، لكنها غالبًا ما تفشل في تحقيق محاذاة قائمة على التشريح. يعزز S2D-Align المقترح هذه العملية من خلال اعتماد استراتيجية من السطحي إلى العميق التي تحسن تدريجيًا جودة المحاذاة.

El artículo titulado 'S2D-ALIGN: Aprendizaje Auxiliar de Superficial a Profundo para la Generación de Informes de Radiología con Base Anatómica' presenta un enfoque novedoso para la Generación de Informes de Radiología (RRG). Este método tiene como objetivo generar automáticamente informes diagnósticos a partir de imágenes de radiología utilizando Modelos de Lenguaje Multimodal (MLLMs). Los métodos existentes se han centrado en la alineación entre modalidades a través del Ajuste Fino Supervisado (SFT), pero a menudo no logran establecer una alineación con base anatómica. El S2D-Align propuesto…

L'article intitulé 'S2D-ALIGN : Apprentissage auxiliaire de peu profond à profond pour la génération de rapports de radiologie anatomiquement fondés' présente une nouvelle approche pour la génération de rapports de radiologie (RRG). Cette méthode vise à générer automatiquement des rapports diagnostiques à partir d'images de radiologie en utilisant des modèles de langage multimodaux (MLLMs). Les méthodes traditionnelles se concentrent sur l'alignement cross-modal via un affinement supervisé (SFT), mais échouent souvent à établir un alignement anatomiquement fondé. Le S2D-Align proposé améliore …

The paper titled 'S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation' presents a novel approach to Radiology Report Generation (RRG). This method aims to automatically generate diagnostic reports from radiology images by utilizing Multimodal Large Language Models (MLLMs). Traditional methods have focused on cross-modal alignment through Supervised Fine-Tuning (SFT), but often fail to achieve anatomically-grounded alignment. The proposed S2D-Align enhances this process by employing a shallow-to-deep strategy that progressively improves alignment …

S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation

arXiv:2511.14109v1 Announce Type: new 
Abstract: Visual Place Recognition (VPR) aims to match query images against a database using visual cues. State-of-the-art methods aggregate features from deep backbones to form global descriptors. Optimal transport-based aggregation methods reformulate feature-to-cluster assignment as a transport problem, but the standard Sinkhorn algorithm symmetrically treats source and target marginals, limiting effectiveness when image features and cluster centers exhibit substantially different distributions. We propose an asymmetric aggregation VPR method with geometric constraints for locally aggregated descriptors, called $A^2$GC-VPR. Our method employs row-column normalization averaging with separate marginal calibration, enabling asymmetric matching that adapts to distributional discrepancies in visual place recognition. Geometric constraints are incorporated through learnable coordinate embeddings, computing compatibility scores fused with feature similarities, thereby promoting spatially proximal features to the same cluster and enhancing spatial awareness. Experimental results on MSLS, NordLand, and Pittsburgh datasets demonstrate superior performance, validating the effectiveness of our approach in improving matching accuracy and robustness.

$A^2$GC-VPR هو أسلوب جديد للتعرف على الأماكن البصرية (VPR) يتناول قيود أساليب التجميع التقليدية في مطابقة صور الاستعلام مع قاعدة بيانات. من خلال اعتماد نهج تجميع غير متماثل مع قيود هندسية، يعزز هذا الأسلوب فعالية مطابقة الميزات، خاصة عند التعامل مع توزيعات متباينة لميزات الصورة ومراكز التجمع. تستخدم التقنية متوسطات تطبيع الصفوف والأعمدة مع تضمينات إحداثيات قابلة للتعلم لتحسين درجات التوافق لوصفيات التجميع المحلي.

$A^2$GC-VPR es un nuevo método para el Reconocimiento Visual de Lugares (VPR) que aborda las limitaciones de los métodos de agregación tradicionales al emparejar imágenes de consulta con una base de datos. Al emplear un enfoque de agregación asimétrica con restricciones geométricas, este método mejora la efectividad del emparejamiento de características, especialmente cuando se enfrentan a distribuciones variables de características de imagen y centros de clúster. La técnica utiliza promedios de normalización fila-columna y embeddings de coordenadas aprendibles para mejorar las puntuaciones de…

$A^2$GC-VPR est une nouvelle méthode pour la reconnaissance de lieux visuels (VPR) qui s'attaque aux limites des méthodes d'agrégation traditionnelles dans l'appariement d'images de requête à une base de données. En adoptant une approche d'agrégation asymétrique avec des contraintes géométriques, cette méthode améliore l'efficacité de l'appariement des caractéristiques, en particulier lorsqu'il s'agit de distributions variées des caractéristiques d'image et des centres de clusters. La technique utilise une moyenne de normalisation ligne-colonne et des embeddings de coordonnées apprenables pour…

$A^2$GC-VPR is a new method for Visual Place Recognition (VPR) that addresses the limitations of traditional aggregation methods in matching query images to a database. By employing an asymmetric aggregation approach with geometric constraints, this method enhances the effectiveness of feature matching, particularly when dealing with varying distributions of image features and cluster centers. The technique utilizes row-column normalization averaging and learnable coordinate embeddings to improve compatibility scores for locally aggregated descriptors.

$A^2$GC: $A$symmetric $A$ggregation with Geometric Constraints for Locally Aggregated Descriptors

arXiv:2511.14247v1 Announce Type: new 
Abstract: Multi-agents rely on accurate poses to share and align observations, enabling a collaborative perception of the environment. However, traditional GNSS-based localization often fails in GNSS-denied environments, making consistent feature alignment difficult in collaboration. To tackle this challenge, we propose a robust GNSS-free collaborative perception framework based on LiDAR localization. Specifically, we propose a lightweight Pose Generator with Confidence (PGC) to estimate compact pose and confidence representations. To alleviate the effects of localization errors, we further develop the Pose-Aware Spatio-Temporal Alignment Transformer (PASTAT), which performs confidence-aware spatial alignment while capturing essential temporal context. Additionally, we present a new simulation dataset, V2VLoc, which can be adapted for both LiDAR localization and collaborative detection tasks. V2VLoc comprises three subsets: Town1Loc, Town4Loc, and V2VDet. Town1Loc and Town4Loc offer multi-traversal sequences for training in localization tasks, whereas V2VDet is specifically intended for the collaborative detection task. Extensive experiments conducted on the V2VLoc dataset demonstrate that our approach achieves state-of-the-art performance under GNSS-denied conditions. We further conduct extended experiments on the real-world V2V4Real dataset to validate the effectiveness and generalizability of PASTAT.

يقدم المقال إطارًا جديدًا للإدراك التعاوني بدون GNSS باستخدام تحديد المواقع بواسطة LiDAR، حيث يتناول التحديات التي تواجهها البيئات التي تفتقر إلى GNSS. غالبًا ما تواجه طرق تحديد المواقع التقليدية صعوبات في هذه البيئات، مما يعيق التعاون الفعال بين أنظمة الوكلاء المتعددة. تتضمن الحلول المقترحة مولد وضع خفيف الوزن مع ثقة (PGC) لتقدير الأوضاع وتمثيلات الثقة، بالإضافة إلى محول التوافق الزماني المكاني الواعي بالوضع (PASTAT) الذي يقوم بأداء التوافق المكاني مع مراعاة الثقة. كما تم تقديم مجموعة بيانات محاكاة جديدة، V2VLoc، التي يمكن تكييفها لمهام تحديد المواقع بواسطة LiDAR والاكتشاف التعاوني.

El artículo presenta un nuevo marco para la percepción colaborativa sin GNSS utilizando la localización por LiDAR, abordando los desafíos que se enfrentan en entornos sin GNSS. Los métodos de localización tradicionales a menudo tienen dificultades en estos entornos, lo que dificulta la colaboración efectiva entre sistemas multiagente. La solución propuesta incluye un Generador de Pose con Confianza (PGC) para estimar poses y confianza, junto con el Transformador de Alineación Espacio-Temporal Consciente de la Pose (PASTAT) para el alineamiento espacial. Se introduce un nuevo conjunto de datos …

L'article présente un nouveau cadre pour la perception collaborative sans GNSS utilisant la localisation par LiDAR, abordant les défis rencontrés dans les environnements privés de GNSS. Les méthodes de localisation traditionnelles peinent souvent dans ces contextes, entravant la collaboration efficace entre systèmes multi-agents. La solution proposée comprend un générateur de pose léger avec confiance (PGC) pour estimer les poses et la confiance, ainsi qu'un transformateur d'alignement spatio-temporel conscient de la pose (PASTAT) pour l'alignement spatial. Un nouveau jeu de données de simulat…

The article presents a new framework for GNSS-free collaborative perception using LiDAR localization, addressing the challenges faced in GNSS-denied environments. Traditional localization methods often struggle in these settings, hindering effective collaboration among multi-agent systems. The proposed solution includes a lightweight Pose Generator with Confidence (PGC) for estimating poses and confidence, alongside the Pose-Aware Spatio-Temporal Alignment Transformer (PASTAT) for spatial alignment. A new simulation dataset, V2VLoc, is introduced, which supports LiDAR localization and collabor…

V2VLoc: Robust GNSS-Free Collaborative Perception via LiDAR Localization

arXiv:2511.14210v1 Announce Type: new 
Abstract: We introduce Orion, a visual agent framework that can take in any modality and generate any modality. Using an agentic framework with multiple tool-calling capabilities, Orion is designed for visual AI tasks and achieves state-of-the-art results. Unlike traditional vision-language models that produce descriptive outputs, Orion orchestrates a suite of specialized computer vision tools, including object detection, keypoint localization, panoptic segmentation, Optical Character Recognition, and geometric analysis, to execute complex multi-step visual workflows. The system achieves competitive performance on MMMU, MMBench, DocVQA, and MMLongBench while extending monolithic vision-language models to production-grade visual intelligence. By combining neural perception with symbolic execution, Orion enables autonomous visual reasoning, marking a transition from passive visual understanding to active, tool-driven visual intelligence.

أورايون هو إطار جديد لوكيل بصري قادر على معالجة وتوليد أنماط متعددة. يستخدم إطارًا وكيلًا مع قدرات متعددة لاستدعاء الأدوات، محققًا نتائج رائدة في مهام الذكاء الاصطناعي البصري. على عكس نماذج الرؤية-اللغة التقليدية، يستخدم أورايون أدوات رؤية حاسوبية متخصصة لتنفيذ سير عمل بصري معقد، محققًا أداءً تنافسيًا في معايير مثل MMMU وMMBench وDocVQA وMMLongBench. يمثل هذا النظام تحولًا نحو الاستدلال البصري المستقل، مما يعزز الذكاء البصري.

Orion es un nuevo marco de agente visual capaz de procesar y generar diversas modalidades. Utiliza un marco agentivo con múltiples capacidades de llamada a herramientas, logrando resultados de vanguardia en tareas de IA visual. A diferencia de los modelos tradicionales de visión-lenguaje, Orion emplea herramientas especializadas de visión por computadora para flujos de trabajo visuales complejos, alcanzando un rendimiento competitivo en benchmarks como MMMU, MMBench, DocVQA y MMLongBench. Este sistema marca una transición hacia el razonamiento visual autónomo, mejorando la inteligencia visual.

Orion est un nouveau cadre d'agent visuel capable de traiter et de générer diverses modalités. Il utilise un cadre agentique avec plusieurs capacités d'appel d'outils, atteignant des résultats de pointe dans les tâches d'IA visuelle. Contrairement aux modèles traditionnels de vision-langage, Orion utilise des outils de vision par ordinateur spécialisés pour des flux de travail visuels complexes, obtenant des performances compétitives sur des benchmarks tels que MMMU, MMBench, DocVQA et MMLongBench. Ce système marque un tournant vers le raisonnement visuel autonome, améliorant l'intelligence vi…

Orion is a newly introduced visual agent framework capable of processing and generating various modalities. It employs an agentic framework with multiple tool-calling capabilities, achieving state-of-the-art results in visual AI tasks. Unlike traditional vision-language models, Orion utilizes specialized computer vision tools for complex visual workflows, achieving competitive performance on benchmarks like MMMU, MMBench, DocVQA, and MMLongBench. This system marks a shift towards autonomous visual reasoning, enhancing visual intelligence.

Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution

arXiv:2511.13911v1 Announce Type: new 
Abstract: Despite recent progress in predicting biomarker trajectories from real clinical data, uncertainty in the predictions poses high-stakes risks (e.g., misdiagnosis) that limit their clinical deployment. To enable safe and reliable use of such predictions in healthcare, we introduce a conformal method for uncertainty-calibrated prediction of biomarker trajectories resulting from randomly-timed clinical visits of patients. Our approach extends conformal prediction to the setting of randomly-timed trajectories via a novel nonconformity score that produces prediction bands guaranteed to cover the unknown biomarker trajectories with a user-prescribed probability. We apply our method across a wide range of standard and state-of-the-art predictors for two well-established brain biomarkers of Alzheimer's disease, using neuroimaging data from real clinical studies. We observe that our conformal prediction bands consistently achieve the desired coverage, while also being tighter than baseline prediction bands. To further account for population heterogeneity, we develop group-conditional conformal bands and test their coverage guarantees across various demographic and clinically relevant subpopulations. Moreover, we demonstrate the clinical utility of our conformal bands in identifying subjects at high risk of progression to Alzheimer's disease. Specifically, we introduce an uncertainty-calibrated risk score that enables the identification of 17.5% more high-risk subjects compared to standard risk scores, highlighting the value of uncertainty calibration in real-world clinical decision making. Our code is available at github.com/vatass/ConformalBiomarkerTrajectories.

تم تطوير طريقة جديدة للتنبؤ بمسارات المؤشرات الحيوية في مرض الزهايمر، حيث تعالج عدم اليقين في التنبؤات السريرية. تتيح هذه التقنية التنبؤية المتوافقة إجراء تنبؤات موثوقة من الزيارات السريرية التي تتم في أوقات عشوائية، مما يضمن أن تغطي نطاقات التنبؤ المسارات الفعلية للمؤشرات الحيوية باحتمالية محددة. تم اختبار النهج باستخدام بيانات التصوير العصبي من دراسات سريرية معروفة، مما يوضح فعاليته في تعزيز أمان التطبيقات السريرية.

Se ha desarrollado un nuevo método para predecir las trayectorias de biomarcadores en la enfermedad de Alzheimer, abordando la incertidumbre en las predicciones clínicas. Esta técnica de predicción conforme permite pronósticos fiables a partir de visitas clínicas programadas aleatoriamente, asegurando que las bandas de predicción cubran las trayectorias reales de los biomarcadores con una probabilidad especificada. El enfoque se probó utilizando datos de neuroimagen de estudios clínicos establecidos, demostrando su eficacia para mejorar la seguridad de las aplicaciones clínicas.

Une nouvelle méthode de prédiction des trajectoires de biomarqueurs dans la maladie d'Alzheimer a été développée, abordant l'incertitude des prédictions cliniques. Cette technique de prédiction conforme permet des prévisions fiables à partir de visites cliniques chronométrées de manière aléatoire, garantissant que les bandes de prédiction couvrent les trajectoires réelles des biomarqueurs avec une probabilité spécifiée. L'approche a été testée à l'aide de données d'imagerie cérébrale provenant d'études cliniques établies, démontrant son efficacité pour améliorer la sécurité des applications cl…

A new method for predicting biomarker trajectories in Alzheimer's disease has been developed, addressing the uncertainty in clinical predictions. This conformal prediction technique allows for reliable forecasts from randomly-timed clinical visits, ensuring that the prediction bands cover the actual biomarker trajectories with a specified probability. The approach was tested using neuroimaging data from established clinical studies, demonstrating its effectiveness in enhancing the safety of clinical applications.

Uncertainty-Calibrated Prediction of Randomly-Timed Biomarker Trajectories with Conformal Bands

arXiv:2511.14021v1 Announce Type: new 
Abstract: Humans can easily identify anatomical planes (axial, coronal, and sagittal) on a 2D MRI slice, but automated systems struggle with this task. Missing plane orientation metadata can complicate analysis, increase domain shift when merging heterogeneous datasets, and reduce accuracy of diagnostic classifiers. This study develops a classifier that accurately generates plane orientation metadata. We adopt a 2.5D context-aware model that leverages multi-slice information to avoid ambiguity from isolated slices and enable robust feature learning. We train the 2.5D model on both 3D slice sequences and static 2D images. While our 2D reference model achieves 98.74% accuracy, our 2.5D method raises this to 99.49%, reducing errors by 60%, highlighting the importance of 2.5D context. We validate the utility of our generated metadata in a brain tumor detection task. A gated strategy selectively uses metadata-enhanced predictions based on uncertainty scores, boosting accuracy from 97.0% with an image-only model to 98.0%, reducing misdiagnoses by 33.3%. We integrate our plane orientation model into an interactive web application and provide it open-source.

تقدم دراسة جديدة نموذجًا ثلاثي الأبعاد 2.5 يعتمد على السياق للكشف عن اتجاهات الطائرات في التصوير بالرنين المغناطيسي، مما يعالج التحديات التي تواجهها الأنظمة الآلية في تحديد الطائرات التشريحية. يستخدم النموذج معلومات متعددة الشرائح لتحسين تعلم الميزات وتقليل الغموض، محققًا معدل دقة يبلغ 99.49% مقارنة بـ 98.74% للنماذج ثنائية الأبعاد التقليدية. تعتبر هذه الخطوة مهمة بشكل خاص لتحسين مصنّفات التشخيص وتسهيل الكشف عن الأورام الدماغية من خلال توليد بيانات وصفية دقيقة حول اتجاه الطائرات.

Un nuevo estudio presenta un modelo 2.5D consciente del contexto para la detección de orientaciones de planos en resonancias magnéticas (IRM), abordando los desafíos que enfrentan los sistemas automatizados para identificar planos anatómicos. El modelo utiliza información de múltiples cortes para mejorar el aprendizaje de características y reducir la ambigüedad, logrando una tasa de precisión del 99.49% en comparación con el 98.74% de los modelos 2D tradicionales. Este avance es particularmente significativo para mejorar los clasificadores diagnósticos y facilitar la detección de tumores cereb…

Une nouvelle étude présente un modèle 2.5D contextuel pour la détection des orientations des plans IRM, répondant aux défis rencontrés par les systèmes automatisés pour identifier les plans anatomiques. Le modèle utilise des informations multi-coupes pour améliorer l'apprentissage des caractéristiques et réduire l'ambiguïté, atteignant un taux de précision de 99,49 % contre 98,74 % pour les modèles 2D traditionnels. Cette avancée est particulièrement significative pour améliorer les classificateurs diagnostiques et faciliter la détection des tumeurs cérébrales en générant des métadonnées préci…

A new study presents a context-aware 2.5D model for detecting MRI plane orientations, addressing challenges faced by automated systems in identifying anatomical planes. The model utilizes multi-slice information to enhance feature learning and reduce ambiguity, achieving a 99.49% accuracy rate compared to 98.74% for traditional 2D models. This advancement is particularly significant for improving diagnostic classifiers and facilitating brain tumor detection by generating accurate plane orientation metadata.

MRI Plane Orientation Detection using a Context-Aware 2.5D Model

arXiv:2511.14203v1 Announce Type: new 
Abstract: Maritime vessel re-identification (Re-ID) plays a crucial role in advancing maritime monitoring and intelligent situational awareness systems. However, some existing vessel Re-ID methods are directly adapted from pedestrian-focused algorithms, making them ill-suited for mitigating the unique problems present in vessel images, particularly the greater intra-identity variations and more severe missing of local parts, which lead to the emergence of outlier samples within the same identity. To address these challenges, we propose the Multi-scale Correlation-aware Transformer Network (MCFormer), which explicitly models multi-scale correlations across the entire input set to suppress the adverse effects of outlier samples with intra-identity variations or local missing, incorporating two novel modules, the Global Correlation Module (GCM), and the Local Correlation Module (LCM). Specifically, GCM constructs a global similarity affinity matrix across all input images to model global correlations through feature aggregation based on inter-image consistency, rather than solely learning features from individual images as in most existing approaches. Simultaneously, LCM mines and aligns local features of positive samples with contextual similarity to extract local correlations by maintaining a dynamic memory bank, effectively compensating for missing or occluded regions in individual images. To further enhance feature robustness, MCFormer integrates global and local features that have been respectively correlated across multiple scales, effectively capturing latent relationships among image features. Experiments on three benchmarks demonstrate that MCFormer achieves state-of-the-art performance.

تعتبر إعادة تحديد هوية السفن البحرية (Re-ID) ضرورية لتعزيز مراقبة البحار وأنظمة الوعي بالوضع. ومع ذلك، فإن بعض طرق إعادة تحديد الهوية الحالية تتكيف مباشرة مع الخوارزميات المخصصة للمشاة، مما يجعلها غير مناسبة لمعالجة المشكلات الفريدة الموجودة في صور السفن، وخاصة التباينات الكبيرة داخل الهوية وفقدان الأجزاء المحلية، مما يؤدي إلى ظهور عينات شاذة ضمن نفس الهوية. لمواجهة هذه التحديات، تم اقتراح شبكة المحولات الواعية بالارتباط متعدد المقاييس (MCFormer)، التي تقوم بنمذجة الارتباطات متعددة المقاييس عبر مجموعة الإدخال بالكامل.

La reidentificación de embarcaciones marítimas (Re-ID) es crucial para mejorar la vigilancia marítima y los sistemas de conciencia situacional. Sin embargo, algunos métodos existentes de Re-ID se adaptan directamente de algoritmos enfocados en peatones, lo que los hace inadecuados para abordar los problemas únicos presentes en las imágenes de embarcaciones, como las variaciones intraidentidad y la falta de partes locales. Para enfrentar estos desafíos, se propone la Red de Transformadores Consciente de Correlación Multiescalar (MCFormer), que incorpora dos módulos novedosos: el Módulo de Corre…

La ré-identification des navires maritimes (Re-ID) est essentielle pour améliorer la surveillance maritime et les systèmes de sensibilisation à la situation. Les méthodes Re-ID actuelles adaptent souvent des algorithmes piétonniers, qui ne répondent pas efficacement aux défis uniques des images de navires, tels que les variations intra-identité significatives et les parties locales manquantes. Pour relever ces défis, le Multi-scale Correlation-aware Transformer Network (MCFormer) est proposé, avec deux modules innovants : le Global Correlation Module (GCM) et le Local Correlation Module (LCM).…

Maritime vessel re-identification (Re-ID) is essential for enhancing maritime monitoring and situational awareness systems. Current Re-ID methods often adapt pedestrian algorithms, which do not effectively address the unique challenges of vessel images, such as significant intra-identity variations and missing local parts. To tackle these issues, the Multi-scale Correlation-aware Transformer Network (MCFormer) is proposed, featuring two innovative modules: the Global Correlation Module (GCM) and the Local Correlation Module (LCM). These modules aim to improve the accuracy of vessel identificat…

Multi-Scale Correlation-Aware Transformer for Maritime Vessel Re-Identification

arXiv:2511.14169v1 Announce Type: new 
Abstract: Multimodal Large Language Models (MLLMs) have demonstrated substantial value in unified text-image understanding and reasoning, primarily by converting images into sequences of patch-level tokens that align with their architectural paradigm. However, patch-level tokenization leads to a quadratic growth in image tokens, burdening MLLMs' understanding and reasoning with enormous computation and memory. Additionally, the traditional patch-wise scanning tokenization workflow misaligns with the human vision cognition system, further leading to hallucination and computational redundancy. To address this issue, we propose an object-level token merging strategy for Adaptive Token compression, revealing the consistency with human vision system. The experiments are conducted on multiple comprehensive benchmarks, which show that our approach averagely, utilizes only 10% tokens while achieving almost 96% of the vanilla model's performance. More extensive experimental results in comparison with relevant works demonstrate the superiority of our method in balancing compression ratio and performance. Our code will be available.

تقدم AdaTok استراتيجية مبتكرة لدمج الرموز على مستوى الكائنات من أجل ضغط الرموز التكيفي، بهدف تحسين كفاءة نماذج اللغة متعددة الوسائط (MLLMs). أدت عملية الترميز التقليدية على مستوى القطع إلى زيادة كبيرة في الطلب على الحوسبة والذاكرة، مما تسبب في عدم توافق مع العمليات المعرفية البشرية. تقلل الطريقة المقترحة من استخدام الرموز إلى 10% مع الحفاظ على ما يقرب من 96% من أداء النموذج الأصلي، مما يعالج التحديات الحرجة في الفهم والاستدلال متعدد الوسائط.

AdaTok presenta una estrategia innovadora de fusión de tokens a nivel de objeto para la compresión adaptativa de tokens, con el objetivo de mejorar la eficiencia de los Modelos de Lenguaje Multimodal (MLLMs). La tokenización tradicional a nivel de parches ha llevado a un crecimiento excesivo en la demanda de computación y memoria, causando desajustes con los procesos cognitivos humanos. El método propuesto reduce el uso de tokens al 10% mientras mantiene casi el 96% del rendimiento del modelo original, abordando desafíos críticos en la comprensión y el razonamiento multimodal.

AdaTok propose une stratégie innovante de fusion de tokens au niveau des objets pour la compression adaptative des tokens, visant à améliorer l'efficacité des modèles de langage multimodaux (MLLMs). La tokenisation traditionnelle au niveau des patchs a entraîné des demandes excessives en matière de calcul et de mémoire, conduisant à des désalignements avec les processus cognitifs humains. La méthode proposée réduit considérablement l'utilisation des tokens à 10 % tout en maintenant près de 96 % des performances du modèle d'origine, répondant ainsi à des défis critiques dans la compréhension et…

AdaTok introduces an innovative object-level token merging strategy for Adaptive Token compression, aimed at enhancing the efficiency of Multimodal Large Language Models (MLLMs). Traditional patch-level tokenization has resulted in excessive computational and memory demands, leading to misalignments with human cognitive processes. The proposed method significantly reduces token usage to 10% while maintaining nearly 96% of the original model's performance, addressing critical challenges in multimodal understanding and reasoning.

AdaTok: Adaptive Token Compression with Object-Aware Representations for Efficient Multimodal LLMs

arXiv:2511.11126v1 Announce Type: new 
Abstract: With the rapid rise of social media and Internet culture, memes have become a popular medium for expressing emotional tendencies. This has sparked growing interest in Meme Emotion Understanding (MEU), which aims to classify the emotional intent behind memes by leveraging their multimodal contents. While existing efforts have achieved promising results, two major challenges remain: (1) a lack of fine-grained multimodal fusion strategies, and (2) insufficient mining of memes' implicit meanings and background knowledge. To address these challenges, we propose MemoDetector, a novel framework for advancing MEU. First, we introduce a four-step textual enhancement module that utilizes the rich knowledge and reasoning capabilities of Multimodal Large Language Models (MLLMs) to progressively infer and extract implicit and contextual insights from memes. These enhanced texts significantly enrich the original meme contents and provide valuable guidance for downstream classification. Next, we design a dual-stage modal fusion strategy: the first stage performs shallow fusion on raw meme image and text, while the second stage deeply integrates the enhanced visual and textual features. This hierarchical fusion enables the model to better capture nuanced cross-modal emotional cues. Experiments on two datasets, MET-MEME and MOOD, demonstrate that our method consistently outperforms state-of-the-art baselines. Specifically, MemoDetector improves F1 scores by 4.3\% on MET-MEME and 3.4\% on MOOD. Further ablation studies and in-depth analyses validate the effectiveness and robustness of our approach, highlighting its strong potential for advancing MEU. Our code is available at https://github.com/singing-cat/MemoDetector.

يتناول المقال الأهمية المتزايدة لفهم عواطف الميمات (MEU) في سياق وسائل التواصل الاجتماعي وثقافة الإنترنت، حيث تُعتبر الميمات وسيلة للتعبير عن العواطف. يسلط الضوء على التحديات في تصنيف النية العاطفية وراء الميمات بشكل فعال بسبب استراتيجيات الدمج متعددة الوسائط غير الكافية والحاجة إلى استكشاف المعاني الضمنية بشكل أعمق. لمعالجة هذه القضايا، يقترح المؤلفون MemoDetector، وهو إطار عمل يستخدم نماذج اللغة متعددة الوسائط لتحسين المحتوى النصي واستخراج الرؤى السياقية من الميمات.

El artículo aborda la creciente importancia de la Comprensión de Emociones en Memes (MEU) en el contexto de las redes sociales y la cultura de Internet, donde los memes sirven como un medio para expresar emociones. Destaca los desafíos en la clasificación efectiva de la intención emocional detrás de los memes debido a estrategias de fusión multimodal inadecuadas y la necesidad de explorar más a fondo los significados implícitos. Para abordar estos problemas, los autores proponen MemoDetector, un marco que utiliza Modelos de Lenguaje Multimodal para mejorar el contenido textual y extraer conoci…

L'article traite de l'importance croissante de la compréhension des émotions des mèmes (MEU) dans le contexte des réseaux sociaux et de la culture Internet, où les mèmes servent de moyen d'expression émotionnelle. Il met en lumière les défis liés à la classification efficace de l'intention émotionnelle derrière les mèmes en raison de stratégies de fusion multimodales inadéquates et de la nécessité d'explorer plus en profondeur les significations implicites. Pour relever ces défis, les auteurs proposent MemoDetector, un cadre qui utilise des modèles de langage multimodaux pour améliorer le cont…

The article discusses the increasing significance of Meme Emotion Understanding (MEU) in the context of social media and internet culture, where memes serve as a medium for emotional expression. It highlights the challenges in effectively classifying the emotional intent behind memes due to inadequate multimodal fusion strategies and the need for deeper exploration of implicit meanings. To tackle these issues, the authors propose MemoDetector, a framework that utilizes Multimodal Large Language Models to enhance textual content and extract contextual insights from memes.

S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation

Was this article worth reading? Share it