arXiv:2511.14072v1 Announce Type: new 
Abstract: Large Vision-Language Models (LVLMs) usually suffer from prohibitive computational and memory costs due to the quadratic growth of visual tokens with image resolution. Existing token compression methods, while varied, often lack a high-level semantic understanding, leading to suboptimal merges, information redundancy, or context loss. To address these limitations, we introduce CORE (Compact Object-centric REpresentations), a new paradigm for visual token compression. CORE leverages an efficient segmentation decoder to generate object masks, which serve as a high-level semantic prior to guide the merging of visual tokens into a compact set of object-centric representations. Furthermore, a novel centroid-guided sorting mechanism restores a coherent spatial order to the merged tokens, preserving vital positional information. Extensive experiments show that CORE not only establishes a new state-of-the-art on six authoritative benchmarks for fixed-rate compression, but also achieves dramatic efficiency gains in adaptive-rate settings. Even under extreme compression, after aggressively retaining with only 2.2% of all visual tokens, CORE still maintains 97.4% of baseline performance. Our work demonstrates the superiority of object-centric representations for efficient and effective LVLM processing.

يقدم المقال CORE (تمثيلات مركزة حول الكائنات)، وهو نهج جديد لضغط الرموز البصرية في نماذج اللغة والرؤية الكبيرة (LVLMs). تعاني طرق ضغط الرموز التقليدية غالبًا من تكاليف حسابية وذاكرة مرتفعة بسبب النمو التربيعي للرموز البصرية مع دقة الصورة. يستخدم CORE مُفكك تشفير تقسيم فعال لإنشاء أقنعة كائنات، مما يوفر إطارًا دلاليًا لتوجيه دمج الرموز البصرية في تمثيلات مركزة. بالإضافة إلى ذلك، آلية فرز موجهة بواسطة المركز تستعيد ترتيبًا مكانيًا متماسكًا للرموز المدمجة، مما يحافظ على المعلومات الموضعية الحيوية.

El artículo presenta CORE (Representaciones Compactas Centradas en Objetos), un nuevo enfoque para la compresión de tokens visuales en Modelos de Lenguaje de Visión Grande (LVLMs). Los métodos de compresión de tokens tradicionales a menudo enfrentan altos costos computacionales y de memoria debido al crecimiento cuadrático de los tokens visuales con la resolución de la imagen. CORE utiliza un decodificador de segmentación eficiente para generar máscaras de objetos, proporcionando un marco semántico para guiar la fusión de tokens visuales en representaciones compactas. Además, un mecanismo de o…

L'article présente CORE (Compact Object-centric REpresentations), une nouvelle approche de compression des tokens visuels dans les Modèles de Vision-Langage de Grande Taille (LVLMs). Les méthodes de compression de tokens traditionnelles rencontrent souvent des problèmes de coûts computationnels et de mémoire élevés en raison de l'augmentation quadratique des tokens visuels avec la résolution d'image. CORE utilise un décodeur de segmentation efficace pour créer des masques d'objets, fournissant un cadre sémantique pour fusionner les tokens visuels en représentations compactes. De plus, un mécan…

The article introduces CORE (Compact Object-centric REpresentations), a novel approach to visual token compression in Large Vision-Language Models (LVLMs). Traditional token compression methods often struggle with high computational and memory costs due to the quadratic increase in visual tokens with image resolution. CORE utilizes an efficient segmentation decoder to create object masks, providing a semantic framework for merging visual tokens into compact representations. Additionally, a centroid-guided sorting mechanism ensures the spatial order of tokens is maintained, enhancing the overal…

CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs

Was this article worth reading? Share it

LucidQuery AI

The Visualizer

Supametas.AI

Republiclabs.ai

Langfuse

ConsoleX

Ready to build your own newsroom?