arXiv:2411.10614v3 Announce Type: replace-cross 
Abstract: The Differentially Private Stochastic Gradient Descent (DP-SGD) algorithm supports the training of machine learning (ML) models with formal Differential Privacy (DP) guarantees. Traditionally, DP-SGD processes training data in batches using Poisson subsampling to select each batch at every iteration. More recently, shuffling has become a common alternative due to its better compatibility and lower computational overhead. However, computing tight theoretical DP guarantees under shuffling remains an open problem. As a result, models trained with shuffling are often evaluated as if Poisson subsampling were used, which might result in incorrect privacy guarantees.
  This raises a compelling research question: can we verify whether there are gaps between the theoretical DP guarantees reported by state-of-the-art models using shuffling and their actual leakage? To do so, we define novel DP-auditing procedures to analyze DP-SGD with shuffling and measure their ability to tightly estimate privacy leakage vis-\`a-vis batch sizes, privacy budgets, and threat models. Overall, we demonstrate that DP models trained using this approach have considerably overestimated their privacy guarantees (by up to 4 times). However, we also find that the gap between the theoretical Poisson DP guarantees and the actual privacy leakage from shuffling is not uniform across all parameter settings and threat models. Finally, we study two common variations of the shuffling procedure that result in even further privacy leakage (up to 10 times). Overall, our work highlights the risk of using shuffling instead of Poisson subsampling in the absence of rigorous analysis methods.

يتم فحص خوارزمية الانحدار العشوائي الخاص (DP-SGD) بينما يستكشف الباحثون تداعيات خلط بيانات التدريب، وهي طريقة اكتسبت شعبية بسبب كفاءتها وتكاليفها الحاسوبية المنخفضة. ومع ذلك، لا يزال التحدي هو إنشاء ضمانات نظرية دقيقة للخصوصية عند استخدام الخلط، مما يؤدي إلى تفاوتات محتملة في تقييمات الخصوصية مقارنة بأساليب أخذ العينات التقليدية مثل أخذ العينات بواسون.

El algoritmo de descenso de gradiente estocástico diferencialmente privado (DP-SGD) está siendo examinado mientras los investigadores exploran las implicaciones de mezclar los datos de entrenamiento, un método que ha ganado popularidad debido a su eficiencia y menores costos computacionales. Sin embargo, el desafío sigue siendo establecer garantías de privacidad teóricas precisas al usar el mezclado, lo que puede llevar a discrepancias en las evaluaciones de privacidad en comparación con los métodos tradicionales de muestreo de Poisson.

L'algorithme de descente de gradient stochastique différentiellement privé (DP-SGD) fait l'objet d'un examen alors que les chercheurs explorent les implications du mélange des données d'entraînement, une méthode qui a gagné en popularité en raison de son efficacité et de ses coûts computationnels réduits. Cependant, le défi reste d'établir des garanties de confidentialité théoriques précises lors de l'utilisation du mélange, ce qui entraîne des écarts potentiels dans les évaluations de confidentialité par rapport aux méthodes traditionnelles d'échantillonnage de Poisson.

The Differentially Private Stochastic Gradient Descent (DP-SGD) algorithm is under scrutiny as researchers explore the implications of shuffling training data, a method that has gained popularity due to its efficiency and lower computational costs. However, the challenge remains in establishing accurate theoretical privacy guarantees when using shuffling, leading to potential discrepancies in privacy assessments compared to traditional Poisson subsampling methods.

To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling

arXiv:2507.20560v2 Announce Type: replace 
Abstract: Privacy preservation in machine learning, particularly through Differentially Private Stochastic Gradient Descent (DP-SGD), is critical for sensitive data analysis. However, existing statistical inference methods for SGD predominantly focus on cyclic subsampling, while DP-SGD requires randomized subsampling. This paper first bridges this gap by establishing the asymptotic properties of SGD under the randomized rule and extending these results to DP-SGD. For the output of DP-SGD, we show that the asymptotic variance decomposes into statistical, sampling, and privacy-induced components. Two methods are proposed for constructing valid confidence intervals: the plug-in method and the random scaling method. We also perform extensive numerical analysis, which shows that the proposed confidence intervals achieve nominal coverage rates while maintaining privacy.

أظهرت دراسة حديثة الخصائص الحدية لأسلوب الانحدار العشوائي الخاص بالخصوصية (DP-SGD)، مما يعالج الفجوة في طرق الاستدلال الإحصائي الموجودة التي تركز بشكل أساسي على أخذ عينات دورية. تقدم الدراسة طريقتين لبناء فترات ثقة صالحة، مما يوضح أن التباين الحدّي لـ DP-SGD يمكن أن يتفكك إلى مكونات إحصائية وعينية ومكونات ناتجة عن الخصوصية.

Un estudio reciente ha establecido las propiedades asintóticas del Descenso de Gradiente Estocástico Diferencialmente Privado (DP-SGD), abordando la brecha en los métodos de inferencia estadística existentes que se centran principalmente en el muestreo cíclico. La investigación introduce dos métodos para construir intervalos de confianza válidos, demostrando que la varianza asintótica del DP-SGD puede descomponerse en componentes estadísticos, de muestreo y inducidos por la privacidad.

Une étude récente a établi les propriétés asymptotiques de la descente de gradient stochastique différemment privée (DP-SGD), comblant le fossé dans les méthodes d'inférence statistique existantes qui se concentrent principalement sur le sous-échantillonnage cyclique. La recherche introduit deux méthodes pour construire des intervalles de confiance valides, démontrant que la variance asymptotique de la DP-SGD peut être décomposée en composants statistiques, d'échantillonnage et induits par la confidentialité.

A recent study has established the asymptotic properties of Differentially Private Stochastic Gradient Descent (DP-SGD), addressing the gap in existing statistical inference methods that primarily focus on cyclic subsampling. The research introduces two methods for constructing valid confidence intervals, demonstrating that the asymptotic variance of DP-SGD can be decomposed into statistical, sampling, and privacy-induced components.

Statistical Inference for Differentially Private Stochastic Gradient Descent

تسلط الدراسات الحديثة حول الانحدار العشوائي الخاص (DP-SGD) الضوء على أهمية خلط بيانات التدريب وتأثيراته على ضمانات الخصوصية. بينما يُفضل الخلط لكفاءته، يتناول الباحثون أيضًا الحاجة إلى طرق استدلال إحصائي قوية، حيث يقدمون تقنيات جديدة لبناء فترات الثقة وتحليل الخصائص اللانهائية لـ DP-SGD.

Estudios recientes sobre el descenso de gradiente estocástico diferencialmente privado (DP-SGD) destacan la importancia de mezclar los datos de entrenamiento y sus implicaciones para las garantías de privacidad. Si bien el mezclado es preferido por su eficiencia, los investigadores también abordan la necesidad de métodos de inferencia estadística robustos, introduciendo nuevas técnicas para construir intervalos de confianza y analizar las propiedades asintóticas de DP-SGD.

Des études récentes sur la descente de gradient stochastique différentiellement privée (DP-SGD) soulignent l'importance de mélanger les données d'entraînement et ses implications pour les garanties de confidentialité. Bien que le mélange soit privilégié pour son efficacité, les chercheurs s'attaquent également à la nécessité de méthodes d'inférence statistique robustes, introduisant de nouvelles techniques pour construire des intervalles de confiance et analyser les propriétés asymptotiques de DP-SGD.

Advancements in Differentially Private Stochastic Gradient Descent: Shuffling and Statistical Inference

Advertise Now

Own the #1 slot on Top Trending. Massive visibility when attention is highest.

Advancements in Differentially Private Stochastic Gradient Descent: Shuffling and Statistical Inference

Advancements in Differentially Private Stochastic Gradient Descent: Shuffling and Statistical Inference

Why World Pulse Now

Global Coverage

Emotional Lens

Trending Stories

Read Less, Know More

Multi-Language

Save for Later

Live Stats

Featured Products