تسلط مناقشة حديثة الضوء على قيود استخدام التعبيرات العادية (Regex) لإدارة نماذج PyTorch، مما يبرز الحاجة إلى طرق أكثر تعقيدًا في الهندسة العكسية لسلسلة إمداد الذكاء الاصطناعي. يشير المقال إلى أن Regex قد لا تعالج بشكل كافٍ التعقيدات المرتبطة بإدارة قواعد التعليمات البرمجية الكبيرة لـ PyTorch.

Una reciente discusión destaca las limitaciones del uso de expresiones regulares (Regex) para gestionar modelos de PyTorch, enfatizando la necesidad de métodos más sofisticados en la ingeniería inversa de la cadena de suministro de IA. El artículo sugiere que Regex puede no abordar adecuadamente las complejidades involucradas en el manejo de extensas bases de código de PyTorch.

Une récente discussion met en lumière les limites de l'utilisation des expressions régulières (Regex) pour gérer les modèles PyTorch, soulignant la nécessité de méthodes plus sophistiquées dans l'ingénierie inverse de la chaîne d'approvisionnement en IA. L'article suggère que le Regex peut ne pas répondre adéquatement aux complexités liées à la gestion de vastes bases de code PyTorch.

A recent discussion highlights the limitations of using regular expressions (Regex) for managing PyTorch models, emphasizing the need for more sophisticated methods in reverse engineering the AI supply chain. The article suggests that Regex may not adequately address the complexities involved in handling extensive PyTorch codebases.

Reverse Engineering the AI Supply Chain: Why Regex Won't Save Your PyTorch Models

arXiv:2406.17298v3 Announce Type: replace 
Abstract: Differentially private stochastic gradient descent (DP-SGD) is the standard algorithm for training machine learning models under differential privacy (DP). The most common DP-SGD privacy accountants rely on Poisson subsampling to ensure the theoretical DP guarantees. Implementing computationally efficient DP-SGD with Poisson subsampling is not trivial, which leads many implementations to taking a shortcut by using computationally faster subsampling. We quantify the computational cost of training deep learning models under DP by implementing and benchmarking efficient methods with the correct Poisson subsampling. We find that using the naive implementation of DP-SGD with Opacus in PyTorch has a throughput between 2.6 and 8 times lower than that of SGD. However, efficient gradient clipping implementations like Ghost Clipping can roughly halve this cost. We propose an alternative computationally efficient implementation of DP-SGD with JAX that uses Poisson subsampling and performs comparably with efficient clipping optimizations based on PyTorch. We study the scaling behavior using up to 80 GPUs and find that DP-SGD scales better than SGD. We share our library at https://github.com/DPBayes/Towards-Efficient-Scalable-Training-DP-DL.

أظهرت دراسة حديثة نُشرت على arXiv تنفيذًا فعالًا وقابلًا للتوسع لأسلوب الانحدار العشوائي المتمايز (DP-SGD)، حيث تناولت التحديات الحسابية المرتبطة بأخذ عينات بواسون في التعلم العميق. تقيم الدراسة طرقًا مختلفة، كاشفةً أن التطبيقات الساذجة يمكن أن تقلل بشكل كبير من الإنتاجية مقارنةً بأسلوب SGD القياسي، بينما تقترح بدائل مثل Ghost Clipping لتحسين الكفاءة.

Un estudio reciente publicado en arXiv presenta una implementación eficiente y escalable de la descenso de gradiente estocástico diferencialmente privado (DP-SGD), abordando los desafíos computacionales asociados con el muestreo de Poisson en el aprendizaje profundo. La investigación evalúa varios métodos, revelando que las implementaciones ingenuas pueden reducir significativamente el rendimiento en comparación con la SGD estándar, mientras que se proponen alternativas como Ghost Clipping para mejorar la eficiencia.

Une étude récente publiée sur arXiv présente une mise en œuvre efficace et évolutive de la descente de gradient stochastique différentiellement privée (DP-SGD), abordant les défis computationnels associés à l'échantillonnage de Poisson dans l'apprentissage profond. La recherche évalue diverses méthodes, révélant que les mises en œuvre naïves peuvent réduire considérablement le débit par rapport à la SGD standard, tout en proposant des alternatives comme le Ghost Clipping pour améliorer l'efficacité.

A recent study published on arXiv presents an efficient and scalable implementation of differentially private stochastic gradient descent (DP-SGD), addressing the computational challenges associated with Poisson subsampling in deep learning. The research benchmarks various methods, revealing that naive implementations can significantly reduce throughput compared to standard SGD, while proposing alternatives like Ghost Clipping to enhance efficiency.

Efficient and Scalable Implementation of Differentially Private Deep Learning without Shortcuts

One More Thing in AI – Your Shortcut to AI Mastery

Reverse Engineering the AI Supply Chain: Why Regex Won't Save Your PyTorch Models

Was this article worth reading? Share it

One More Thing in AI

Humanize AI

Airparser

Chattermate

SafeWrite AI

AskTuring

Ready to build your own newsroom?