arXiv:2511.08195v2 Announce Type: replace 
Abstract: User interface (UI) programming is a core yet highly complex part of modern software development. Recent advances in visual language models (VLMs) highlight the potential of automatic UI coding, but current approaches face two key limitations: multimodal coding capabilities remain underdeveloped, and single-turn paradigms make little use of iterative visual feedback. We address these challenges with an interactive UI-to-code paradigm that better reflects real-world workflows and raises the upper bound of achievable performance. Under this paradigm, we present UI2Code$^\text{N}$, a visual language model trained through staged pretraining, fine-tuning, and reinforcement learning to achieve foundational improvements in multimodal coding. The model unifies three key capabilities: UI-to-code generation, UI editing, and UI polishing. We further explore test-time scaling for interactive generation, enabling systematic use of multi-turn feedback. Experiments on UI-to-code and UI polishing benchmarks show that UI2Code$^\text{N}$ establishes a new state of the art among open-source models and achieves performance comparable to leading closed-source models such as Claude-4-Sonnet and GPT-5. Our code and models are available at https://github.com/zai-org/UI2Code_N.

برمجة واجهة المستخدم (UI) هي جزء معقد من تطوير البرمجيات الحديثة. تظهر التطورات الأخيرة في نماذج اللغة المرئية (VLMs) إمكانية الترميز التلقائي لواجهة المستخدم، ولكن الأساليب الحالية تواجه قيودًا رئيسية: قدرات الترميز متعددة الوسائط لا تزال غير متطورة، ونماذج التفاعل الفردية لا تستفيد كثيرًا من التغذية الراجعة البصرية التكرارية. نحن نتناول هذه التحديات من خلال نموذج UI2Code^N، وهو نموذج لغة مرئية تم تدريبه من خلال مراحل ما قبل التدريب، والتعديل الدقيق، والتعلم المعزز لتحقيق تحسينات أساسية في الترميز متعدد الوسائط.

La programación de interfaces de usuario (UI) es un aspecto complejo del desarrollo de software. Los avances recientes en modelos de lenguaje visual (VLM) muestran un potencial para la codificación automática de UI, pero los métodos actuales enfrentan limitaciones en capacidades multimodales y retroalimentación iterativa. El modelo UI2Code^N aborda estos problemas mediante un enfoque interactivo de UI a código, mejorando el rendimiento al integrar la generación, edición y pulido de UI. Este modelo se entrena a través de preentrenamiento por etapas, ajuste fino y aprendizaje por refuerzo, con e…

La programmation d'interface utilisateur (UI) est un aspect complexe du développement logiciel. Les avancées récentes dans les modèles de langage visuel (VLM) montrent un potentiel pour le codage automatique d'UI, mais les méthodes existantes rencontrent des limitations en matière de capacités multimodales et de rétroaction itérative. Le modèle UI2Code^N aborde ces problèmes grâce à une approche interactive de l'UI vers le code, améliorant les performances en intégrant la génération, l'édition et le polissage de l'UI. Ce modèle est formé par préentraînement par étapes, ajustement fin et appren…

UI programming is a complex aspect of software development. Recent advancements in visual language models (VLMs) show promise for automatic UI coding, yet existing methods face limitations in multimodal capabilities and iterative feedback. The UI2Code^N model addresses these issues through an interactive UI-to-code approach, enhancing performance by integrating UI generation, editing, and polishing. This model is trained using staged pretraining, fine-tuning, and reinforcement learning, aiming to improve multimodal coding significantly.

UI2Code^N: A Visual Language Model for Test-Time Scalable Interactive UI-to-Code Generation

Was this article worth reading? Share it

Ready to build your own newsroom?