arXiv:2505.14669v3 Announce Type: replace 
Abstract: Training large language models (LLMs) models directly in low-precision offers a way to address computational costs by improving both throughput and energy efficiency. For those purposes, NVIDIA's recent Blackwell architecture facilitates very low-precision operations using FP4 variants. Yet, current algorithms for training LLMs in FP4 precision face significant accuracy degradation and often rely on mixed-precision fallbacks. In this paper, we investigate hardware-supported FP4 training and introduce a new approach for accurate, end-to-end FP4 training with all the major computations (i.e., linear layers) in low precision. Through extensive evaluations on Llama-type models, we reveal a new low-precision scaling law that quantifies performance trade-offs across bit-widths and training setups. Guided by this investigation, we design an "optimal" technique in terms of accuracy-vs-computation, called Quartet. We implement Quartet using optimized CUDA kernels tailored for Blackwell, demonstrating that fully FP4-based training is a competitive alternative to FP16 half-precision and to FP8 training. Our code is available at https://github.com/IST-DASLab/Quartet.

تناقش الورقة المعنونة 'Quartet: Native FP4 Training Can Be Optimal for Large Language Models' مزايا تدريب النماذج اللغوية الكبيرة (LLMs) مباشرةً في صيغ منخفضة الدقة، وتحديدًا FP4. تهدف هذه الطريقة إلى تقليل التكاليف الحاسوبية مع تحسين الإنتاجية وكفاءة الطاقة. يقدم المؤلفون نهجًا جديدًا لتدريب FP4 بدقة، متجاوزين التحديات المتعلقة بتدهور الدقة والاعتماد على حلول الدقة المختلطة. تكشف نتائجهم عن قانون جديد للتوسع في الدقة المنخفضة وتقترح تقنية مثالية تُدعى Quartet.

El artículo titulado 'Quartet: Native FP4 Training Can Be Optimal for Large Language Models' aborda las ventajas de entrenar grandes modelos de lenguaje (LLM) directamente en formatos de baja precisión, específicamente FP4. Este método busca reducir los costos computacionales mientras mejora el rendimiento y la eficiencia energética. Los autores introducen un nuevo enfoque para el entrenamiento preciso en FP4, superando los desafíos relacionados con la degradación de la precisión y las soluciones de precisión mixta. Sus hallazgos revelan una nueva ley de escalado en baja precisión y proponen u…

L'article intitulé 'Quartet: Native FP4 Training Can Be Optimal for Large Language Models' traite des avantages de l'entraînement des grands modèles de langage (LLM) directement en formats basse précision, spécifiquement FP4. Cette méthode vise à réduire les coûts computationnels tout en améliorant le débit et l'efficacité énergétique. Les auteurs introduisent une nouvelle approche pour un entraînement FP4 précis, surmontant les défis liés à la dégradation de la précision et aux solutions de précision mixte. Leurs résultats révèlent une nouvelle loi d'échelle en basse précision et proposent un…

The paper titled 'Quartet: Native FP4 Training Can Be Optimal for Large Language Models' discusses the advantages of training large language models (LLMs) directly in low-precision formats, specifically FP4. This method aims to reduce computational costs while enhancing throughput and energy efficiency. The authors introduce a new approach for accurate FP4 training, overcoming challenges related to accuracy degradation and mixed-precision fallbacks. Their findings reveal a new low-precision scaling law and propose an optimal technique named Quartet.

Quartet: Native FP4 Training Can Be Optimal for Large Language Models

أعلنت NVIDIA عن طرح DLSS 4.5، وهو تحديث مهم لجميع وحدات معالجة الرسوميات RTX، مما يعزز أداء الألعاب ووضوح الرسوميات. من المتوقع أن يحسن هذا التحديث معدلات الإطارات والتجربة العامة لمستخدمي بطاقات الرسوميات من NVIDIA.

NVIDIA ha anunciado el lanzamiento de DLSS 4.5, una actualización significativa para todas las GPU RTX, que mejora el rendimiento de los juegos y la fidelidad visual. Se espera que esta actualización mejore las tasas de fotogramas y la experiencia general de los usuarios de las tarjetas gráficas de NVIDIA.

NVIDIA a annoncé le déploiement de DLSS 4.5, une mise à jour significative pour tous les GPU RTX, améliorant les performances de jeu et la fidélité visuelle. Cette mise à jour devrait améliorer les taux de rafraîchissement et l'expérience globale des utilisateurs des cartes graphiques NVIDIA.

NVIDIA has announced the rollout of DLSS 4.5, a significant update for all RTX GPUs, enhancing gaming performance and visual fidelity. This update is expected to improve frame rates and overall gaming experiences for users of NVIDIA's graphics cards.

NVIDIA rolls out DLSS 4.5 to all RTX GPUs

arXiv:2601.07891v1 Announce Type: new 
Abstract: Growing context lengths in transformer-based language models have made the key-value (KV) cache a critical inference bottleneck. While many KV cache pruning methods have been proposed, they have not yet been adopted in major inference engines due to speed--accuracy trade-offs. We introduce KVzap, a fast, input-adaptive approximation of KVzip that works in both prefilling and decoding. On Qwen3-8B, Llama-3.1-8B-Instruct, and Qwen3-32B across long-context and reasoning tasks, KVzap achieves $2$--$4\times$ KV cache compression with negligible accuracy loss and achieves state-of-the-art performance on the KVpress leaderboard. Code and models are available at https://github.com/NVIDIA/kvpress.

تم تقديم KVzap كطريقة سريعة وتكيفية لتقليص ذاكرة التخزين المؤقت للقيم الرئيسية (KV) في نماذج اللغة المعتمدة على المحولات، مما يعالج عنق الزجاجة الحرج في الاستدلال الناتج عن زيادة أطوال السياق. تحقق هذه الطريقة ضغطًا لذاكرة التخزين المؤقت KV يتراوح بين 2 إلى 4 مرات مع فقد دقيق ضئيل، مما يظهر أداءً رائدًا في لوحة تصنيف KVpress.

KVzap se ha presentado como un método rápido y adaptativo para la poda de caché de clave-valor (KV) en modelos de lenguaje basados en transformadores, abordando el cuello de botella crítico de inferencia causado por el aumento de las longitudes de contexto. Este método logra una compresión de caché KV de 2 a 4 veces con una pérdida de precisión mínima, demostrando un rendimiento de vanguardia en la tabla de clasificación KVpress.

KVzap a été introduit comme une méthode rapide et adaptative pour l'élagage du cache clé-valeur (KV) dans les modèles de langage basés sur des transformateurs, répondant au goulot d'étranglement d'inférence critique causé par l'augmentation des longueurs de contexte. Cette méthode atteint une compression du cache KV de 2 à 4 fois avec une perte de précision minimale, démontrant des performances de pointe sur le tableau de classement KVpress.

KVzap has been introduced as a fast and adaptive method for key-value (KV) cache pruning in transformer-based language models, addressing the critical inference bottleneck caused by growing context lengths. This method achieves 2-4 times KV cache compression with minimal accuracy loss, demonstrating state-of-the-art performance on the KVpress leaderboard.

Quartet: Native FP4 Training Can Be Optimal for Large Language Models

Was this article worth reading? Share it

LucidQuery AI

Airparser

Langfuse

Aqaba.ai

AQ

FastML

Ready to build your own newsroom?