arXiv:2605.27541v1 Announce Type: new 
Abstract: Dynamic Sparse Training (DST) methods train neural networks by maintaining sparsity while dynamically adapting the network topology. Despite the promise of reduced computation, DST methods converge significantly slower than dense training, often requiring comparable training time to achieve similar accuracy. We demonstrate both analytically and empirically that Batch Normalization (BN) adversely affects sparse training, and propose SparseOpt, a sparsity-aware optimizer, to address this. Experiments on ResNet models across CIFAR-100 and ImageNet demonstrate consistently faster convergence and improved generalization with our proposed method. Our work highlights the limitations of current normalization layers in sparse training and provides the first systematic study of the interaction between Batch Normalization, sparse layers, and DST, taking a significant step toward making DST practically competitive with dense training.

تقدم دراسة جديدة SparseOpt، وهو مُحسّن واعٍ بالندرة مصمم للتخفيف من الآثار السلبية للتطبيع بالدفعات (BN) على طرق التدريب النادرة الديناميكية (DST). تُظهر الأبحاث أنه على الرغم من أن طرق DST يمكن أن تقلل من المتطلبات الحاسوبية، إلا أنها غالبًا ما تتقارب بشكل أبطأ من التدريب الكثيف التقليدي، مما يؤدي إلى الحاجة إلى تقنيات تحسين محسّنة. يهدف SparseOpt إلى تحسين سرعة التقارب والتعميم في الشبكات العصبية، وخاصة في نماذج ResNet المختبرة على مجموعات بيانات CIFAR-100 وImageNet.

Un nuevo estudio presenta SparseOpt, un optimizador consciente de la escasez diseñado para mitigar los efectos negativos de la Normalización por Lotes (BN) en los métodos de Entrenamiento Escaso Dinámico (DST). La investigación demuestra que, aunque los métodos DST pueden reducir las demandas computacionales, a menudo convergen más lentamente que el entrenamiento denso tradicional, lo que lleva a la necesidad de técnicas de optimización mejoradas. SparseOpt busca mejorar la velocidad de convergencia y la generalización en redes neuronales, particularmente en modelos ResNet probados en los conj…

Une nouvelle étude présente SparseOpt, un optimiseur conscient de la sparsité conçu pour atténuer les effets négatifs de la normalisation par lot (BN) sur les méthodes d'entraînement sparse dynamique (DST). La recherche démontre que, bien que les méthodes DST puissent réduire les exigences computationnelles, elles convergent souvent plus lentement que l'entraînement dense traditionnel, ce qui nécessite des techniques d'optimisation améliorées. SparseOpt vise à améliorer la vitesse de convergence et la généralisation dans les réseaux de neurones, en particulier dans les modèles ResNet testés su…

A new study introduces SparseOpt, a sparsity-aware optimizer designed to mitigate the negative effects of Batch Normalization (BN) on Dynamic Sparse Training (DST) methods. The research demonstrates that while DST methods can reduce computational demands, they often converge slower than traditional dense training, leading to a need for improved optimization techniques. SparseOpt aims to enhance convergence speed and generalization in neural networks, particularly in ResNet models tested on CIFAR-100 and ImageNet datasets.