arXiv:2511.16587v1 Announce Type: new 
Abstract: Differentially private stochastic gradient descent (DP-SGD) has become the standard algorithm for training machine learning models with rigorous privacy guarantees. Despite its widespread use, the theoretical understanding of its long-run behavior remains limited: existing analyses typically establish convergence in expectation or with high probability, but do not address the almost sure convergence of single trajectories. In this work, we prove that DP-SGD converges almost surely under standard smoothness assumptions, both in nonconvex and strongly convex settings, provided the step sizes satisfy some standard decaying conditions. Our analysis extends to momentum variants such as the stochastic heavy ball (DP-SHB) and Nesterov's accelerated gradient (DP-NAG), where we show that careful energy constructions yield similar guarantees. These results provide stronger theoretical foundations for differentially private optimization and suggest that, despite privacy-induced distortions, the algorithm remains pathwise stable in both convex and nonconvex regimes.

تناقش الورقة البحثية التقارب شبه المؤكد لأسلوب الانحدار العشوائي الخاص (DP-SGD)، وهو خوارزمية مستخدمة على نطاق واسع لتدريب نماذج التعلم الآلي مع ضمانات الخصوصية. تؤكد الدراسة أن DP-SGD يتقارب شبه مؤكد تحت افتراضات نعومة قياسية في كل من الإعدادات غير المحدبة والمحدبة بقوة، بشرط أن تلبي أحجام الخطوات بعض الشروط المتناقصة. تمتد التحليلات أيضًا إلى متغيرات الزخم مثل DP-SHB وDP-NAG، مما يوفر أسسًا نظرية أقوى للتحسين الخاص.

El artículo analiza la convergencia casi segura del descenso de gradiente estocástico diferencialmente privado (DP-SGD), un algoritmo ampliamente utilizado para entrenar modelos de aprendizaje automático con garantías de privacidad. Se establece que el DP-SGD converge casi seguramente bajo suposiciones de suavidad estándar en configuraciones no convexas y fuertemente convexas, siempre que se cumplan ciertas condiciones de disminución de los tamaños de paso. El análisis también se extiende a variantes de momento como DP-SHB y DP-NAG, proporcionando bases teóricas más sólidas para la optimizació…

Cet article traite de la convergence presque sûre de la descente de gradient stochastique différentiellement privée (DP-SGD), un algorithme largement utilisé pour former des modèles d'apprentissage automatique avec des garanties de confidentialité. Il établit que le DP-SGD converge presque sûrement sous des hypothèses de douceur standard dans des contextes non convexes et fortement convexes, à condition que certaines conditions de décroissance des pas soient respectées. L'analyse s'étend également aux variantes de momentum comme DP-SHB et DP-NAG, fournissant des bases théoriques plus solides p…

The paper discusses the almost sure convergence of Differentially Private Stochastic Gradient Descent (DP-SGD), a widely used algorithm for training machine learning models with privacy guarantees. It establishes that DP-SGD converges almost surely under standard smoothness assumptions in both nonconvex and strongly convex settings, given certain decaying step size conditions. The analysis also extends to momentum variants like DP-SHB and DP-NAG, providing stronger theoretical foundations for differentially private optimization.

Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods

arXiv:2511.20509v1 Announce Type: new 
Abstract: Adaptive optimizers are the de facto standard in non-private training as they often enable faster convergence and improved performance. In contrast, differentially private (DP) training is still predominantly performed with DP-SGD, typically requiring extensive compute and hyperparameter tuning. We propose DP-MicroAdam, a memory-efficient and sparsity-aware adaptive DP optimizer. We prove that DP-MicroAdam converges in stochastic non-convex optimization at the optimal $\mathcal{O}(1/\sqrt{T})$ rate, up to privacy-dependent constants. Empirically, DP-MicroAdam outperforms existing adaptive DP optimizers and achieves competitive or superior accuracy compared to DP-SGD across a range of benchmarks, including CIFAR-10, large-scale ImageNet training, and private fine-tuning of pretrained transformers. These results demonstrate that adaptive optimization can improve both performance and stability under differential privacy.

يمثل تقديم DP-MicroAdam تقدمًا كبيرًا في مجال المحسنات التكيفية لتدريب الخصوصية التفاضلية، حيث يظهر أداءً ومعدلات تقارب متفوقة مقارنة بالطرق التقليدية مثل DP-SGD. تم تصميم هذا الخوارزمية لتكون فعالة من حيث الذاكرة وواعية للندرة، مما يعالج التحديات المتعلقة بالحوسبة المكثفة وضبط المعلمات الفائقة المرتبطة عادةً بالخصوصية التفاضلية.

La introducción de DP-MicroAdam representa un avance significativo en el ámbito de los optimizadores adaptativos para el entrenamiento privado diferencial, demostrando un rendimiento y tasas de convergencia superiores en comparación con métodos tradicionales como DP-SGD. Este nuevo algoritmo está diseñado para ser eficiente en memoria y consciente de la escasez, abordando los desafíos del cálculo extenso y la sintonización de hiperparámetros típicamente asociados con la privacidad diferencial.

L'introduction de DP-MicroAdam marque une avancée significative dans le domaine des optimisateurs adaptatifs pour l'entraînement privé différentiel, démontrant des performances et des taux de convergence supérieurs par rapport aux méthodes traditionnelles comme DP-SGD. Cet algorithme est conçu pour être économe en mémoire et conscient de la sparsité, répondant aux défis d'un calcul intensif et d'un réglage des hyperparamètres généralement associés à la confidentialité différentielle.

The introduction of DP-MicroAdam marks a significant advancement in the realm of adaptive optimizers for differentially private training, demonstrating superior performance and convergence rates compared to traditional methods like DP-SGD. This new algorithm is designed to be memory-efficient and sparsity-aware, addressing the challenges of extensive compute and hyperparameter tuning typically associated with differential privacy.

DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning

arXiv:2511.18006v1 Announce Type: new 
Abstract: Differentially private Stochastic Gradient Descent (DP-SGD) has become integral to privacy-preserving machine learning, ensuring robust privacy guarantees in sensitive domains. Despite notable empirical advances leveraging features from non-private, pre-trained models to enhance DP-SGD training, a theoretical understanding of feature dynamics in private learning remains underexplored. This paper presents the first theoretical framework to analyze private training through a feature learning perspective. Building on the multi-patch data structure from prior work, our analysis distinguishes between label-dependent feature signals and label-independent noise, a critical aspect overlooked by existing analyses in the DP community. Employing a two-layer CNN with polynomial ReLU activation, we theoretically characterize both feature signal learning and data noise memorization in private training via noisy gradient descent. Our findings reveal that (1) Effective private signal learning requires a higher signal-to-noise ratio (SNR) compared to non-private training, and (2) When data noise memorization occurs in non-private learning, it will also occur in private learning, leading to poor generalization despite small training loss. Our findings highlight the challenges of private learning and prove the benefit of feature enhancement to improve SNR. Experiments on synthetic and real-world datasets also validate our theoretical findings.

يقدم المقال إطارًا نظريًا لفهم التعلم الخاص من منظور الميزات، مع التركيز على الانحدار العشوائي التدرجي المختلفially (DP-SGD). يبرز التمييز بين إشارات الميزات المعتمدة على التسميات والضوضاء المستقلة عن التسميات، وهو جانب تم تجاهله إلى حد كبير في التحليلات الحالية. يهدف هذا الإطار إلى تحسين فهم ديناميات الميزات في التعلم الآلي الذي يحافظ على الخصوصية.

El artículo presenta un marco teórico para comprender el aprendizaje privado desde la perspectiva de las características, centrándose en el Descenso de Gradiente Estocástico Diferencialmente Privado (DP-SGD). Destaca la distinción entre señales de características dependientes de etiquetas y ruido independiente de etiquetas, un aspecto que ha sido en gran medida pasado por alto en los análisis existentes. Este marco tiene como objetivo mejorar la comprensión de la dinámica de características en el aprendizaje automático que preserva la privacidad.

Cet article présente un cadre théorique pour comprendre l'apprentissage privé sous l'angle des caractéristiques, en se concentrant sur la descente de gradient stochastique différentiellement privée (DP-SGD). Il met en évidence la distinction entre les signaux de caractéristiques dépendants des étiquettes et le bruit indépendant des étiquettes, un aspect largement négligé dans les analyses existantes. Ce cadre vise à améliorer la compréhension des dynamiques des caractéristiques dans l'apprentissage automatique préservant la vie privée.

The paper introduces a theoretical framework for understanding private learning through a feature perspective, focusing on Differentially Private Stochastic Gradient Descent (DP-SGD). It highlights the distinction between label-dependent feature signals and label-independent noise, which has been largely overlooked in existing analyses. This framework aims to enhance the understanding of feature dynamics in privacy-preserving machine learning.

Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods

Was this article worth reading? Share it

Portfolio Backtest

FastML

LucidQuery AI