arXiv:2602.12468v2 Announce Type: replace 
Abstract: Diffusion language models offer a promising alternative to autoregressive models due to their global, non-causal generation process, but their continuous latent dynamics make discrete constraints -- e.g., the output should be a JSON file that matches a given schema -- difficult to impose. We introduce a training-free guidance method for steering continuous diffusion language models to satisfy formal syntactic constraints expressed using regular expressions. Our approach constructs an analytic score estimating the probability that a latent state decodes to a valid string accepted by a given regular expression, and uses its gradient to guide sampling, without training auxiliary classifiers. The denoising process targets the base model conditioned on syntactic validity. We implement our method in Diffinity on top of the PLAID diffusion model and evaluate it on 180 regular-expression constraints over JSON and natural-language benchmarks. Diffinity achieves 68-96\% constraint satisfaction while incurring only a small perplexity cost relative to unconstrained sampling, outperforming autoregressive constrained decoding in both constraint satisfaction and output quality. Diffinity is open-sourced at github.com/large-loris-models/Diffinity.

تم إثبات أن نماذج الانتشار المستمرة يمكن أن تلتزم بقواعد النحو الرسمية من خلال طريقة توجيه جديدة لا تتطلب التدريب، تستخدم التعبيرات العادية لتوجيه عملية التوليد. تتيح هذه التطورات إنشاء مخرجات تتوافق مع تنسيقات محددة، مثل ملفات JSON، مما يعزز من فائدة هذه النماذج في تطبيقات البيانات المنظمة.

Se ha demostrado que los modelos de difusión continuos pueden cumplir con una sintaxis formal mediante un nuevo método de guía sin entrenamiento que utiliza expresiones regulares para dirigir el proceso de generación. Este avance permite la creación de salidas que se ajustan a formatos específicos, como archivos JSON, mejorando así la utilidad de estos modelos en aplicaciones de datos estructurados.

Les modèles de diffusion continus ont démontré leur capacité à respecter une syntaxe formelle grâce à une nouvelle méthode de guidage sans entraînement qui utilise des expressions régulières pour orienter le processus de génération. Cette avancée permet de créer des sorties conformes à des formats spécifiques, tels que des fichiers JSON, améliorant ainsi l'utilité de ces modèles dans les applications de données structurées.

Continuous diffusion models have been shown to adhere to formal syntax through a novel training-free guidance method that utilizes regular expressions to steer the generation process. This advancement allows for the creation of outputs that conform to specific formats, such as JSON files, enhancing the usability of these models in structured data applications.