arXiv:2510.18480v2 Announce Type: replace 
Abstract: Diffusion language models (DLMs) have emerged as a promising alternative to the long-dominant autoregressive (AR) paradigm, offering a parallelable decoding process that could yield greater efficiency. Yet, in practice, current open-source DLMs often underperform their AR counterparts in speed, limiting their real-world utility. This work presents a systematic study of DLM efficiency, identifying key issues in prior evaluation methods. Through empirical benchmarking and a roofline-based theoretical analysis, we demonstrate that AR models generally achieve higher throughput, while DLMs consistently lag. We also investigate acceleration strategies, finding that techniques like dual cache and parallel decoding mainly offer gains at small batch sizes, with their benefits diminishing upon scaling. Our findings underscore the necessity of robust evaluation methods and improved acceleration strategies to advance research on DLMs.

تدرس دراسة حديثة بكفاءة نماذج اللغة الانتشارية (DLM) التي تُعتبر بديلاً محتملاً للنماذج الذاتية الانحدار التقليدية. على الرغم من أن DLM تعد بعمليات فك تشفير أسرع، إلا أنها غالبًا ما تكون أبطأ من نظرائها الذاتيين الانحدار، مما يحد من تطبيقاتها العملية. تسلط هذه الأبحاث الضوء على عيوب كبيرة في طرق التقييم السابقة، بهدف تحسين الفهم والأداء لـ DLM في السيناريوهات الواقعية.

Un estudio reciente examina de manera crítica la eficiencia de los modelos de lenguaje de difusión (DLM), que se consideran una alternativa potencial a los modelos autorregresivos tradicionales. Aunque los DLM prometen procesos de decodificación más rápidos, a menudo son más lentos que sus contrapartes autorregresivas, lo que limita sus aplicaciones prácticas. Esta investigación destaca fallas significativas en los métodos de evaluación anteriores, con el objetivo de mejorar la comprensión y el rendimiento de los DLM en escenarios del mundo real.

Une étude récente examine de manière critique l'efficacité des modèles de langage de diffusion (DLM), considérés comme une alternative potentielle aux modèles autorégressifs traditionnels. Bien que les DLM promettent des processus de décodage plus rapides, ils sont souvent moins rapides que leurs homologues autorégressifs, ce qui limite leurs applications pratiques. Cette recherche met en lumière des défauts significatifs dans les méthodes d'évaluation précédentes, visant à améliorer la compréhension et la performance des DLM dans des scénarios réels.

A recent study critically examines the efficiency of diffusion language models (DLMs), which are seen as a potential alternative to traditional autoregressive models. While DLMs promise faster decoding processes, they often fall short in speed compared to their autoregressive counterparts, which limits their practical applications. This research highlights significant flaws in previous evaluation methods, aiming to improve the understanding and performance of DLMs in real-world scenarios.

How Efficient Are Diffusion Language Models? A Critical Examination of Efficiency Evaluation Practices

Was this article worth reading? Share it

LucidQuery AI

Airparser

LangWatch

Langfuse

Dyad

OpenL Translator

Ready to build your own newsroom?