arXiv:2511.14282v1 Announce Type: new 
Abstract: Deep neural networks achieve outstanding performance in visual recognition tasks, yet their large number of parameters makes them less practical for real-world applications. Recently, one-shot pruning has emerged as an effective strategy for reducing model size without additional training. However, models trained with standard objective functions often suffer a significant drop in accuracy after aggressive pruning. Some existing pruning-robust optimizers, such as SAM, and CrAM, mitigate this accuracy drop by guiding the model toward flatter regions of the parameter space, but they inevitably incur non-negligible additional computations. We propose a Variance Amplifying Regularizer (VAR) that deliberately increases the variance of model parameters during training. Our study reveals an intriguing finding that parameters with higher variance exhibit greater pruning robustness. VAR exploits this property by promoting such variance in the weight distribution, thereby mitigating the adverse effects of pruning. We further provide a theoretical analysis of its convergence behavior, supported by extensive empirical results demonstrating the superior pruning robustness of VAR.

تتميز الشبكات العصبية العميقة بأدائها المتميز في مهام التعرف على الصور، لكن عدد معلماتها الكبير يجعلها أقل عملية في التطبيقات الواقعية. وقد ظهرت تقنية التقليم في خطوة واحدة كاستراتيجية فعالة لتقليل حجم النموذج دون الحاجة إلى إعادة التدريب. ومع ذلك، فإن النماذج المدربة باستخدام دوال الهدف القياسية غالبًا ما تعاني من انخفاض كبير في الدقة بعد التقليم العدواني. بعض المحسنات الموجودة مثل SAM وCrAM تخفف من هذا الانخفاض في الدقة، لكن تتطلب حسابات إضافية. نقترح منظمًا لزيادة التباين (VAR) الذي يزيد عمدًا من تباين معلمات النموذج أثناء التدريب.

Las redes neuronales profundas destacan en tareas de reconocimiento visual, pero su gran número de parámetros dificulta su aplicación práctica. La poda en una sola vez ha surgido como una estrategia efectiva para reducir el tamaño del modelo sin reentrenamiento adicional. Sin embargo, la poda agresiva a menudo provoca una caída significativa en la precisión. Algunos optimizadores robustos existentes, como SAM y CrAM, mitigan esta caída de precisión, pero requieren cálculos adicionales. Se propone un Regularizador de Amplificación de Varianza (VAR) que aumenta deliberadamente la varianza de los…

Les réseaux de neurones profonds excellent dans les tâches de reconnaissance visuelle, mais leur grand nombre de paramètres limite leur utilisation pratique. Le pruning en une seule fois est une solution pour réduire la taille des modèles sans réentraînement. Cependant, un pruning agressif entraîne souvent une perte significative de précision. Les optimisateurs existants comme SAM et CrAM atténuent ce problème mais nécessitent des calculs supplémentaires. Le régularisateur d'amplification de variance (VAR) augmente la variance des paramètres pendant l'entraînement, améliorant ainsi la robustes…

Deep neural networks excel in visual recognition tasks but their large parameter counts hinder practical applications. One-shot pruning has emerged as a solution to reduce model size without retraining. However, aggressive pruning often leads to significant accuracy drops. Existing optimizers like SAM and CrAM help mitigate this issue but require additional computations. The proposed Variance Amplifying Regularizer (VAR) increases parameter variance during training, enhancing pruning robustness and maintaining accuracy.

Weight Variance Amplifier Improves Accuracy in High-Sparsity One-Shot Pruning

One More Thing in AI – Your Shortcut to AI Mastery

Weight Variance Amplifier Improves Accuracy in High-Sparsity One-Shot Pruning

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Airparser

Hypertune

LangWatch

Octofy

Ready to build your own newsroom?