arXiv:2606.00024v1 Announce Type: new 
Abstract: Long-context decoding in Large Language Models (LLMs) is severely constrained by the memory bandwidth required to fetch the extensive Key-Value (KV) cache. Most existing KV management methods rely on key-only pruning before decoding, despite the evidence that attention outputs depend jointly on keys and values, as incorporating values in their methods incurs prohibitive additional overhead. In this paper, we propose Attention Run-time Termination (ART), a lightweight run-time mechanism that tracks accumulated attention outputs during kernel execution and terminates subsequent KV block accesses once further contributions become negligible. This design makes ART orthogonal to existing key-based KV cache management methods, enabling seamless integration with them. Experiments on LongBench benchmarks show that ART achieves 20% higher generation throughput in large batch size than state-of-the-art baseline while maintaining comparable accuracy.

تم اقتراح آلية جديدة تُدعى إنهاء الانتباه في وقت التشغيل (ART) لتحسين كفاءة فك تشفير السياقات الطويلة في نماذج اللغة الكبيرة (LLMs) من خلال تتبع مخرجات الانتباه المتراكمة أثناء تنفيذ النواة، مما يسمح بإنهاء الوصول غير الضروري إلى كتل المفاتيح والقيم (KV). تهدف هذه الطريقة إلى تحسين معدل الإنتاج بنسبة 20% مع الحفاظ على الدقة.

Se ha propuesto un nuevo mecanismo llamado Terminación de Atención en Tiempo de Ejecución (ART) para mejorar la eficiencia del decodificado de largo contexto en Modelos de Lenguaje Grande (LLMs) al rastrear las salidas de atención acumuladas durante la ejecución del núcleo, permitiendo la terminación de accesos innecesarios a bloques de Clave-Valor (KV). Este enfoque busca mejorar el rendimiento de generación en un 20% manteniendo la precisión.

Un nouveau mécanisme appelé Attention Run-time Termination (ART) a été proposé pour améliorer l'efficacité du décodage à long contexte dans les grands modèles de langage (LLM) en suivant les sorties d'attention accumulées pendant l'exécution du noyau, permettant ainsi de mettre fin aux accès inutiles aux blocs de clés-valeurs (KV). Cette approche vise à améliorer le débit de génération de 20 % tout en maintenant la précision.

A new mechanism called Attention Run-time Termination (ART) has been proposed to enhance the efficiency of long-context decoding in Large Language Models (LLMs) by tracking accumulated attention outputs during kernel execution, allowing for the termination of unnecessary Key-Value (KV) block accesses. This approach aims to improve generation throughput by 20% while maintaining accuracy.