arXiv:2511.11581v1 Announce Type: new 
Abstract: A long-standing goal in both industry and academia is to develop an LLM inference platform that is portable across hardware architectures, eliminates the need for low-level hand-tuning, and still delivers best-in-class efficiency. In this work, we demonstrate that portable, efficient cross-platform LLM inference is indeed possible and share our experience. We develop a state-of-the-art paged attention kernel, the core performance-critical component of many LLM deployments, that builds exclusively on the domain-specific just-in-time compiled language Triton to achieve state-of-the-art performance on both NVIDIA and AMD GPUs. We describe our high-level approach, the key algorithmic and system-level improvements, the parameter auto-tuning required to unlock efficiency, and the integrations into a popular inference server that are necessary to bring the performance of a generic Triton attention kernel from 19.7% of the state-of-the-art to 105.9%. Our results highlight how open-source domain-specific languages can be leveraged to unlock model portability across different GPU vendors.

يتناول المقال تطوير منصة استدلال لنماذج اللغة الكبيرة (LLM) قابلة للنقل وفعالة باستخدام نواة انتباه مدفوعة بأحدث التقنيات. تم بناء هذه النواة على لغة تريتون، وتهدف إلى تحسين الأداء على وحدات معالجة الرسوميات من NVIDIA وAMD دون الحاجة إلى ضبط يدوي مكثف. يوضح المؤلفون نهجهم، والتحسينات الخوارزمية، وضبط المعلمات اللازم لتحقيق الكفاءة، مما يؤدي إلى زيادة كبيرة في الأداء من 19.7% إلى مستوى أعلى بكثير.

El artículo aborda el desarrollo de una plataforma de inferencia de modelos de lenguaje (LLM) portátil y eficiente utilizando un núcleo de atención paginada de última generación. Este núcleo, construido sobre el lenguaje Triton, busca mejorar el rendimiento en GPUs de NVIDIA y AMD sin necesidad de ajustes manuales extensos. Los autores detallan su enfoque, las mejoras algorítmicas y la autoajuste necesario para la eficiencia, logrando un aumento significativo en el rendimiento del 19.7% a un nivel mucho más alto.

L'article traite du développement d'une plateforme d'inférence de modèle de langage (LLM) portable et efficace utilisant un noyau d'attention paginée à la pointe de la technologie. Ce noyau, construit sur le langage Triton, vise à améliorer les performances sur les GPU NVIDIA et AMD sans nécessiter de réglages manuels approfondis. Les auteurs détaillent leur approche, les améliorations algorithmiques et l'auto-réglage nécessaire pour l'efficacité, atteignant une augmentation significative des performances de 19,7 % à un niveau bien supérieur.

The article discusses the development of a portable and efficient large language model (LLM) inference platform using a state-of-the-art paged attention kernel. This kernel, built on the Triton language, aims to enhance performance on both NVIDIA and AMD GPUs without requiring low-level hand-tuning. The authors detail their approach, algorithmic improvements, and the necessary auto-tuning for efficiency, achieving a significant performance increase from 19.7% to a much higher benchmark.

The Anatomy of a Triton Attention Kernel

أعلنت NVIDIA عن طرح DLSS 4.5، وهو تحديث مهم لجميع وحدات معالجة الرسوميات RTX، مما يعزز أداء الألعاب ووضوح الرسوميات. من المتوقع أن يحسن هذا التحديث معدلات الإطارات والتجربة العامة لمستخدمي بطاقات الرسوميات من NVIDIA.

NVIDIA ha anunciado el lanzamiento de DLSS 4.5, una actualización significativa para todas las GPU RTX, que mejora el rendimiento de los juegos y la fidelidad visual. Se espera que esta actualización mejore las tasas de fotogramas y la experiencia general de los usuarios de las tarjetas gráficas de NVIDIA.

NVIDIA a annoncé le déploiement de DLSS 4.5, une mise à jour significative pour tous les GPU RTX, améliorant les performances de jeu et la fidélité visuelle. Cette mise à jour devrait améliorer les taux de rafraîchissement et l'expérience globale des utilisateurs des cartes graphiques NVIDIA.

NVIDIA has announced the rollout of DLSS 4.5, a significant update for all RTX GPUs, enhancing gaming performance and visual fidelity. This update is expected to improve frame rates and overall gaming experiences for users of NVIDIA's graphics cards.

NVIDIA rolls out DLSS 4.5 to all RTX GPUs

arXiv:2601.07891v1 Announce Type: new 
Abstract: Growing context lengths in transformer-based language models have made the key-value (KV) cache a critical inference bottleneck. While many KV cache pruning methods have been proposed, they have not yet been adopted in major inference engines due to speed--accuracy trade-offs. We introduce KVzap, a fast, input-adaptive approximation of KVzip that works in both prefilling and decoding. On Qwen3-8B, Llama-3.1-8B-Instruct, and Qwen3-32B across long-context and reasoning tasks, KVzap achieves $2$--$4\times$ KV cache compression with negligible accuracy loss and achieves state-of-the-art performance on the KVpress leaderboard. Code and models are available at https://github.com/NVIDIA/kvpress.

تم تقديم KVzap كطريقة سريعة وتكيفية لتقليص ذاكرة التخزين المؤقت للقيم الرئيسية (KV) في نماذج اللغة المعتمدة على المحولات، مما يعالج عنق الزجاجة الحرج في الاستدلال الناتج عن زيادة أطوال السياق. تحقق هذه الطريقة ضغطًا لذاكرة التخزين المؤقت KV يتراوح بين 2 إلى 4 مرات مع فقد دقيق ضئيل، مما يظهر أداءً رائدًا في لوحة تصنيف KVpress.

KVzap se ha presentado como un método rápido y adaptativo para la poda de caché de clave-valor (KV) en modelos de lenguaje basados en transformadores, abordando el cuello de botella crítico de inferencia causado por el aumento de las longitudes de contexto. Este método logra una compresión de caché KV de 2 a 4 veces con una pérdida de precisión mínima, demostrando un rendimiento de vanguardia en la tabla de clasificación KVpress.

KVzap a été introduit comme une méthode rapide et adaptative pour l'élagage du cache clé-valeur (KV) dans les modèles de langage basés sur des transformateurs, répondant au goulot d'étranglement d'inférence critique causé par l'augmentation des longueurs de contexte. Cette méthode atteint une compression du cache KV de 2 à 4 fois avec une perte de précision minimale, démontrant des performances de pointe sur le tableau de classement KVpress.

KVzap has been introduced as a fast and adaptive method for key-value (KV) cache pruning in transformer-based language models, addressing the critical inference bottleneck caused by growing context lengths. This method achieves 2-4 times KV cache compression with minimal accuracy loss, demonstrating state-of-the-art performance on the KVpress leaderboard.

KVzap: Fast, Adaptive, and Faithful KV Cache Pruning

One More Thing in AI – Your Shortcut to AI Mastery

The Anatomy of a Triton Attention Kernel

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Brainactive

Aqaba.ai

Gonogo by Trampoline

Langfuse

Ready to build your own newsroom?