arXiv:2511.13394v1 Announce Type: cross 
Abstract: Bayesian parameter inference for complex stochastic simulators is challenging due to intractable likelihood functions. Existing simulation-based inference methods often require large number of simulations and become costly to use in high-dimensional parameter spaces or in problems with partially uninformative outputs. We propose a new method for differentiable simulators that delivers accurate posterior inference with substantially reduced runtimes. Building on the Optimization Monte Carlo framework, our approach reformulates stochastic simulation as deterministic optimization problems. Gradient-based methods are then applied to efficiently navigate toward high-density posterior regions and avoid wasteful simulations in low-probability areas. A JAX-based implementation further enhances the performance through vectorization of key method components. Extensive experiments, including high-dimensional parameter spaces, uninformative outputs, multiple observations and multimodal posteriors show that our method consistently matches, and often exceeds, the accuracy of state-of-the-art approaches, while reducing the runtime by a substantial margin.

تقدم المقالة طريقة جديدة لاستدلال المعلمات البايزية في المحاكيات العشوائية المعقدة، حيث تتناول التحديات التي تطرحها دوال الاحتمالية غير القابلة للحل. غالبًا ما تتطلب طرق الاستدلال المعتمدة على المحاكاة التقليدية عددًا كبيرًا من المحاكيات، مما قد يكون مكلفًا في فضاءات المعلمات عالية الأبعاد. تعيد الطريقة المقترحة صياغة المحاكاة العشوائية كمشكلات تحسين حتمية، مما يقلل بشكل كبير من أوقات التشغيل مع الحفاظ على الدقة في الاستدلال اللاحق. تعزز التنفيذ القائم على JAX الأداء من خلال توجيه مكونات الطريقة الرئيسية.

El artículo presenta un nuevo método para la inferencia de parámetros bayesianos en simuladores estocásticos complejos, abordando los desafíos que plantean las funciones de verosimilitud intratables. Los métodos de inferencia basados en simulaciones tradicionales a menudo requieren un gran número de simulaciones, lo que puede resultar costoso en espacios de parámetros de alta dimensión. El enfoque propuesto reformula las simulaciones estocásticas como problemas de optimización determinista, reduciendo significativamente los tiempos de ejecución mientras mantiene la precisión en la inferencia p…

L'article présente une nouvelle méthode pour l'inférence des paramètres bayésiens dans des simulateurs stochastiques complexes, abordant les défis posés par des fonctions de vraisemblance intractables. Les techniques d'inférence basées sur la simulation traditionnelles nécessitent souvent de nombreuses simulations, ce qui peut être coûteux dans des espaces de paramètres de haute dimension. L'approche proposée reformule les simulations stochastiques en problèmes d'optimisation déterministes, réduisant considérablement les temps d'exécution tout en maintenant l'exactitude de l'inférence postérie…

The article presents a novel method for Bayesian parameter inference in complex stochastic simulators, addressing the challenges posed by intractable likelihood functions. Traditional simulation-based inference techniques often require extensive simulations, which can be costly in high-dimensional parameter spaces. The proposed approach reformulates stochastic simulations into deterministic optimization problems, significantly reducing runtimes while maintaining accuracy in posterior inference. A JAX-based implementation enhances performance through key method components' vectorization.

Fast and Robust Simulation-Based Inference With Optimization Monte Carlo

arXiv:2406.17298v3 Announce Type: replace 
Abstract: Differentially private stochastic gradient descent (DP-SGD) is the standard algorithm for training machine learning models under differential privacy (DP). The most common DP-SGD privacy accountants rely on Poisson subsampling to ensure the theoretical DP guarantees. Implementing computationally efficient DP-SGD with Poisson subsampling is not trivial, which leads many implementations to taking a shortcut by using computationally faster subsampling. We quantify the computational cost of training deep learning models under DP by implementing and benchmarking efficient methods with the correct Poisson subsampling. We find that using the naive implementation of DP-SGD with Opacus in PyTorch has a throughput between 2.6 and 8 times lower than that of SGD. However, efficient gradient clipping implementations like Ghost Clipping can roughly halve this cost. We propose an alternative computationally efficient implementation of DP-SGD with JAX that uses Poisson subsampling and performs comparably with efficient clipping optimizations based on PyTorch. We study the scaling behavior using up to 80 GPUs and find that DP-SGD scales better than SGD. We share our library at https://github.com/DPBayes/Towards-Efficient-Scalable-Training-DP-DL.

أظهرت دراسة حديثة نُشرت على arXiv تنفيذًا فعالًا وقابلًا للتوسع لأسلوب الانحدار العشوائي المتمايز (DP-SGD)، حيث تناولت التحديات الحسابية المرتبطة بأخذ عينات بواسون في التعلم العميق. تقيم الدراسة طرقًا مختلفة، كاشفةً أن التطبيقات الساذجة يمكن أن تقلل بشكل كبير من الإنتاجية مقارنةً بأسلوب SGD القياسي، بينما تقترح بدائل مثل Ghost Clipping لتحسين الكفاءة.

Un estudio reciente publicado en arXiv presenta una implementación eficiente y escalable de la descenso de gradiente estocástico diferencialmente privado (DP-SGD), abordando los desafíos computacionales asociados con el muestreo de Poisson en el aprendizaje profundo. La investigación evalúa varios métodos, revelando que las implementaciones ingenuas pueden reducir significativamente el rendimiento en comparación con la SGD estándar, mientras que se proponen alternativas como Ghost Clipping para mejorar la eficiencia.

Une étude récente publiée sur arXiv présente une mise en œuvre efficace et évolutive de la descente de gradient stochastique différentiellement privée (DP-SGD), abordant les défis computationnels associés à l'échantillonnage de Poisson dans l'apprentissage profond. La recherche évalue diverses méthodes, révélant que les mises en œuvre naïves peuvent réduire considérablement le débit par rapport à la SGD standard, tout en proposant des alternatives comme le Ghost Clipping pour améliorer l'efficacité.

A recent study published on arXiv presents an efficient and scalable implementation of differentially private stochastic gradient descent (DP-SGD), addressing the computational challenges associated with Poisson subsampling in deep learning. The research benchmarks various methods, revealing that naive implementations can significantly reduce throughput compared to standard SGD, while proposing alternatives like Ghost Clipping to enhance efficiency.

Efficient and Scalable Implementation of Differentially Private Deep Learning without Shortcuts

One More Thing in AI – Your Shortcut to AI Mastery

Fast and Robust Simulation-Based Inference With Optimization Monte Carlo

Was this article worth reading? Share it

One More Thing in AI

LucidQuery AI

Hypertune

Jaxo Ai

Portfolio Backtest

Octofy

Ready to build your own newsroom?