arXiv:2511.03774v1 Announce Type: new 
Abstract: Recent advances in Vision-Language Models (VLMs) have achieved state-of-the-art performance on numerous benchmark tasks. However, the use of internet-scale, often proprietary, pretraining corpora raises a critical concern for both practitioners and users: inflated performance due to test-set leakage. While prior works have proposed mitigation strategies such as decontamination of pretraining data and benchmark redesign for LLMs, the complementary direction of developing detection methods for contaminated VLMs remains underexplored. To address this gap, we deliberately contaminate open-source VLMs on popular benchmarks and show that existing detection approaches either fail outright or exhibit inconsistent behavior. We then propose a novel simple yet effective detection method based on multi-modal semantic perturbation, demonstrating that contaminated models fail to generalize under controlled perturbations. Finally, we validate our approach across multiple realistic contamination strategies, confirming its robustness and effectiveness. The code and perturbed dataset will be released publicly.

تناقش ورقة حديثة قضية التلوث في نماذج الرؤية-اللغة (VLM)، مشيرة إلى كيف أن استخدام بيانات التدريب المسبقة المملوكة يمكن أن يؤدي إلى تضخيم مقاييس الأداء بسبب تسرب مجموعة الاختبار. هذه قضية مهمة لكل من المطورين والمستخدمين لهذه النماذج، حيث أنها تشكك في موثوقية نتائجها. يقترح المؤلفون أنه على الرغم من وجود جهود لمعالجة هذه القضية من خلال إزالة التلوث من البيانات وإعادة تصميم المعايير، إلا أن هناك حاجة إلى مزيد من العمل لضمان نزاهة VLMs في التطبيقات العملية.

Un artículo reciente discute el problema de la contaminación en los Modelos de Visión-Lenguaje (VLM), destacando cómo el uso de datos de preentrenamiento propietarios puede llevar a métricas de rendimiento infladas debido a la filtración del conjunto de prueba. Esta es una preocupación significativa tanto para los desarrolladores como para los usuarios de estos modelos, ya que cuestiona la fiabilidad de sus resultados. Los autores sugieren que, aunque ha habido esfuerzos para abordar este problema a través de la decontaminación de datos y el rediseño de benchmarks, se necesita más trabajo para garantizar la integridad de los VLM en aplicaciones prácticas.

Un article récent aborde le problème de la contamination dans les modèles de vision-langage (VLM), soulignant comment l'utilisation de données de préentraînement propriétaires peut entraîner des métriques de performance gonflées en raison de la fuite de l'ensemble de test. C'est une préoccupation importante tant pour les développeurs que pour les utilisateurs de ces modèles, car cela remet en question la fiabilité de leurs résultats. Les auteurs suggèrent que, bien qu'il y ait eu des efforts pour résoudre ce problème par la décontamination des données et la refonte des benchmarks, davantage de travail est nécessaire pour garantir l'intégrité des VLM dans les applications pratiques.

A recent paper discusses the issue of contamination in Vision-Language Models (VLMs), highlighting how the use of proprietary pretraining data can lead to inflated performance metrics due to test-set leakage. This is a significant concern for both developers and users of these models, as it questions the reliability of their results. The authors suggest that while there have been efforts to address this issue through data decontamination and redesigning benchmarks, more work is needed to ensure the integrity of VLMs in practical applications.

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

arXiv:2601.06204v2 Announce Type: replace 
Abstract: Intelligent anomaly detection in dynamic visual environments requires reconciling real-time performance with semantic interpretability. Conventional approaches address only fragments of this challenge. Reconstruction-based models capture low-level deviations without contextual reasoning, object detectors provide speed but limited semantics, and large vision-language systems deliver interpretability at prohibitive computational cost. This work introduces a cascading multi-agent framework that unifies these complementary paradigms into a coherent and interpretable architecture. Early modules perform reconstruction-gated filtering and object-level assessment, while higher-level reasoning agents are selectively invoked to interpret semantically ambiguous events. The system employs adaptive escalation thresholds and a publish-subscribe communication backbone, enabling asynchronous coordination and scalable deployment across heterogeneous hardware. Extensive evaluation on large-scale monitoring data demonstrates that the proposed cascade achieves a threefold reduction in latency compared to direct vision-language inference, while maintaining high perceptual fidelity (PSNR = 38.3 dB, SSIM = 0.965) and consistent semantic labeling. The framework advances beyond conventional detection pipelines by combining early-exit efficiency, adaptive multi-agent reasoning, and explainable anomaly attribution, establishing a reproducible and energy-efficient foundation for scalable intelligent visual monitoring.

تم تقديم إطار عمل جديد للكشف عن الشذوذ متعدد الوكلاء في أنظمة المراقبة، باستخدام نماذج الرؤية-اللغة وتصنيف قائم على التضمين لتحسين الأداء في الوقت الحقيقي وقابلية التفسير الدلالي. تتكامل هذه الطريقة مع منهجيات مختلفة، بما في ذلك التصفية المعتمدة على إعادة البناء والتقييم على مستوى الكائن، لمعالجة تعقيدات الكشف عن الشذوذ في البيئات البصرية الديناميكية.

Se ha introducido un nuevo marco para la detección de anomalías en cascada mediante múltiples agentes en sistemas de vigilancia, utilizando modelos de visión-lenguaje y clasificación basada en embeddings para mejorar el rendimiento en tiempo real y la interpretabilidad semántica. Este enfoque integra diversas metodologías, incluyendo filtrado basado en reconstrucción y evaluaciones a nivel de objeto, para abordar las complejidades de la detección de anomalías en entornos visuales dinámicos.

Un nouveau cadre pour la détection d'anomalies en cascade à plusieurs agents dans les systèmes de surveillance a été introduit, utilisant des modèles de vision-langage et une classification basée sur l'embedding pour améliorer la performance en temps réel et l'interprétabilité sémantique. Cette approche intègre diverses méthodologies, y compris le filtrage basé sur la reconstruction et les évaluations au niveau des objets, pour répondre aux complexités de la détection d'anomalies dans des environnements visuels dynamiques.

A new framework for cascading multi-agent anomaly detection in surveillance systems has been introduced, utilizing vision-language models and embedding-based classification to enhance real-time performance and semantic interpretability. This approach integrates various methodologies, including reconstruction-gated filtering and object-level assessments, to address the complexities of detecting anomalies in dynamic visual environments.

Cascading multi-agent anomaly detection in surveillance systems via vision-language models and embedding-based classification

arXiv:2508.13680v3 Announce Type: replace-cross 
Abstract: We introduce VMMU, a Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark designed to evaluate how vision-language models (VLMs) interpret and reason over visual and textual information beyond English. VMMU consists of 2.5k multimodal questions across 7 tasks, covering a diverse range of problem contexts, including STEM problem solving, data interpretation, rule-governed visual reasoning, and abstract visual reasoning. All questions require genuine multimodal integration, rather than reliance on text-only cues or OCR-based shortcuts. We evaluate a diverse set of state-of-the-art proprietary and open-source VLMs on VMMU. Despite strong Vietnamese OCR performance, proprietary models achieve only 66% mean accuracy. Further analysis shows that the primary source of failure is not OCR, but instead multimodal grounding and reasoning over text and visual evidence. Code and data are available at https://vmmu.github.io.

تم تقديم VMMU، وهو معيار فيتنامي لفهم وتقييم المهام المتعددة متعددة الوسائط، بهدف تقييم قدرات نماذج اللغة والرؤية (VLM) في تفسير واستنتاج المعلومات المرئية والنصية باللغة الفيتنامية. يتضمن هذا المعيار 2.5 ألف سؤال متعدد الوسائط عبر سبع مهام متنوعة، مع التركيز على التكامل الحقيقي متعدد الوسائط بدلاً من الاعتماد على الإشارات النصية فقط.

La introducción de VMMU, un referente vietnamita para la evaluación de la comprensión y el razonamiento multimodal, tiene como objetivo evaluar las capacidades de los modelos de lenguaje y visión (VLM) para interpretar y razonar sobre información visual y textual en vietnamita. Este referente incluye 2.5k preguntas multimodales en siete tareas diversas, enfatizando la integración multimodal genuina en lugar de depender únicamente de pistas textuales.

L'introduction de VMMU, une référence vietnamienne pour l'évaluation de la compréhension et du raisonnement multimodal, vise à évaluer les capacités des modèles de langage et de vision (VLM) à interpréter et raisonner sur des informations visuelles et textuelles en vietnamien. Cette référence comprend 2,5k questions multimodales réparties sur sept tâches diverses, mettant l'accent sur une véritable intégration multimodale plutôt que sur des indices uniquement textuels.

The introduction of VMMU, a Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark, aims to assess the capabilities of vision-language models (VLMs) in interpreting and reasoning over visual and textual information in Vietnamese. This benchmark includes 2.5k multimodal questions across seven diverse tasks, emphasizing genuine multimodal integration rather than text-only cues.

VMMU: A Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark

One More Thing in AI – Your Shortcut to AI Mastery

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Supametas.AI

LangWatch

Attentive AI

Https

Ready to build your own newsroom?