arXiv:2605.23061v1 Announce Type: cross 
Abstract: Standard neural network training relies on learning-rate schedules tied to a fixed horizon, leading to strong path dependence and costly re-tuning as data availability changes. Schedule-Free (SF) methods address this by removing explicit schedules, yet SF-AdamW, the current state-of-the-art anytime optimizer, consistently underperforms well-tuned AdamW baselines. We propose SF-NorMuon, a schedule-free spectral optimizer that closes this gap: with a single hyperparameter configuration, SF-NorMuon matches or exceeds tuned AdamW on 125M and 772M parameter language models across $1$--$8\times$ Chinchilla horizons. On the theoretical side, we prove a stationarity guarantee for schedule-free spectral dynamics and identify weight decay at the fast iterate as essential for long-horizon stability. SF-NorMuon enables practitioners to obtain high-quality checkpoints at any point during training without committing to a horizon in advance. By closing the performance gap with tuned baselines, SF-NorMuon makes horizon-free optimization more practical, taking a step towards truly open-ended, continual learning.

يمثل إدخال SF-NorMuon، وهو مُحسّن طيفي بدون جدول زمني، تقدمًا كبيرًا في تدريب الشبكات العصبية، حيث يعالج قيود جداول معدلات التعلم التقليدية. يتساوى هذا المُحسّن الجديد أو يتجاوز أداء AdamW المُعدّل بشكل جيد على نماذج اللغة الكبيرة، مما يسمح بالحصول على نقاط تفتيش عالية الجودة في أي وقت خلال التدريب دون الالتزام مسبقًا بأفق تدريب.

La introducción de SF-NorMuon, un optimizador espectral sin programación, marca un avance significativo en el entrenamiento de redes neuronales, abordando las limitaciones de los calendarios de tasa de aprendizaje tradicionales. Este nuevo optimizador iguala o supera el rendimiento de AdamW bien ajustado en grandes modelos de lenguaje, permitiendo obtener puntos de control de alta calidad en cualquier momento del entrenamiento sin comprometerse previamente a un horizonte de entrenamiento.

L'introduction de SF-NorMuon, un optimiseur spectral sans calendrier, représente une avancée significative dans l'entraînement des réseaux de neurones, répondant aux limitations des calendriers de taux d'apprentissage traditionnels. Ce nouvel optimiseur égalise ou dépasse les performances de l'AdamW bien réglé sur de grands modèles de langage, permettant d'obtenir des points de contrôle de haute qualité à tout moment de l'entraînement sans engagement préalable à un horizon d'entraînement.

The introduction of SF-NorMuon, a schedule-free spectral optimizer, marks a significant advancement in neural network training, addressing the limitations of traditional learning-rate schedules. This new optimizer matches or exceeds the performance of well-tuned AdamW on large language models, allowing for high-quality checkpoints at any training point without prior commitment to a training horizon.