arXiv:2605.29387v1 Announce Type: cross 
Abstract: The scaling exponent $\alpha$ in neural scaling laws $L(N) \propto N^{-\alpha}$ is commonly treated as a fixed constant set by architecture and data. We present evidence that $\alpha$ depends systematically on the optimizer. In controlled random-feature regression experiments -- the canonical theoretical framework for neural scaling -- we measure $\alpha$ across five optimizer variants and six spectral conditions. Preconditioned optimizers consistently yield steeper scaling (larger $\alpha$), with the $\alpha$-shift increasing across most of the tested spectral range, peaking near $s = 1.5$, and remaining large at $s = 2.0$. At $s \approx 1.0$ (characteristic of natural language), the full natural gradient achieves $\alpha \approx 0.31$ versus $\alpha \approx 0.12$ for gradient descent -- a $2.6\times$ larger fitted exponent that, within the random-feature model, compounds with each model-size doubling. Whether and how this exponent shift transfers to large-scale LLM training -- where recent evidence suggests the advantage may attenuate with scale -- remains an important open question. Our results imply that scaling-law forecasts should account for optimizer choice, and we provide a spectral diagnostic predicting when advanced optimizers will pay off.

أظهرت دراسة حديثة أن الأس exponent $B1$ في قوانين التوسع العصبي، والتي تُعتبر عادةً ثابتة، تتأثر باختيار المحسن المستخدم في نماذج التعلم الآلي. أظهرت الأبحاث أن المحسنات المسبقة تؤدي إلى توسع أكثر حدة، مع اختلافات كبيرة في $B1$ عبر ظروف طيفية مختلفة، مع تسليط الضوء بشكل خاص على فعالية التدرج الطبيعي الكامل مقارنةً بالنزول التدريجي القياسي.

Un estudio reciente ha revelado que el exponente de escalado $B1$ en las leyes de escalado neuronal, que generalmente se considera una constante, está influenciado por la elección del optimizador utilizado en los modelos de aprendizaje automático. La investigación demostró que los optimizadores precondicionados conducen a un escalado más pronunciado, con variaciones significativas en $B1$ a través de diferentes condiciones espectrales, destacando particularmente la efectividad del gradiente natural completo en comparación con el descenso de gradiente estándar.

Une étude récente a révélé que l'exposant de mise à l'échelle $B1$ dans les lois de mise à l'échelle neuronale, généralement considéré comme une constante, est influencé par le choix de l'optimiseur utilisé dans les modèles d'apprentissage automatique. La recherche a démontré que les optimiseurs préconditionnés conduisent à une mise à l'échelle plus abrupte, avec des variations significatives de $B1$ selon différentes conditions spectrales, mettant particulièrement en évidence l'efficacité du gradient naturel complet par rapport à la descente de gradient standard.

A recent study has revealed that the scaling exponent $B1$ in neural scaling laws, typically considered a constant, is influenced by the choice of optimizer used in machine learning models. The research demonstrated that preconditioned optimizers lead to steeper scaling, with significant variations in $B1$ across different spectral conditions, particularly highlighting the effectiveness of the full natural gradient compared to standard gradient descent.