arXiv:2510.21155v1 Announce Type: cross 
Abstract: Split Federated Learning (SFL) enables scalable training on edge devices by combining the parallelism of Federated Learning (FL) with the computational offloading of Split Learning (SL). Despite its great success, SFL suffers significantly from the well-known straggler issue in distributed learning systems. This problem is exacerbated by the dependency between Split Server and clients: the Split Server side model update relies on receiving activations from clients. Such synchronization requirement introduces significant time latency, making straggler a critical bottleneck to the scalability and efficiency of the system. To mitigate this problem, we propose MU-SplitFed, a straggler-resilient SFL algorithm in zeroth-order optimization that decouples training progress from straggler delays via a simple yet effective unbalanced update mechanism.
  By enabling the server to perform $\tau$ local updates per client round, MU-SplitFed achieves a convergence rate of $O(\sqrt{d/(\tau T)})$ for non-convex objectives, demonstrating a linear speedup of $\tau$ in communication rounds. Experiments demonstrate that MU-SplitFed consistently outperforms baseline methods with the presence of stragglers and effectively mitigates their impact through adaptive tuning of $\tau$. The code for this project is available at https://github.com/Johnny-Zip/MU-SplitFed.

تقدم دراسة حديثة نهجًا مبتكرًا لتعلم الفيدرالية المجزأة (SFL)، حيث تعالج المشكلة المستمرة للمتأخرين التي تعيق الأداء في أنظمة التعلم الموزعة. من خلال تحسين التفاعل بين الخادم المجزأ والعملاء، يعد هذا الأسلوب بتحسين كفاءة التدريب على الأجهزة الطرفية. هذه الخطوة مهمة لأنها لا تعزز فقط قابلية توسيع تطبيقات التعلم الآلي، بل تضمن أيضًا أنها يمكن أن تعمل بشكل أكثر فعالية في السيناريوهات الواقعية، مما يجعل التكنولوجيا أكثر سهولة وكفاءة.

Un estudio reciente presenta un enfoque innovador para el Aprendizaje Federado Fraccionado (SFL), abordando el persistente problema de los stragglers que obstaculiza el rendimiento en los sistemas de aprendizaje distribuido. Al mejorar la interacción entre el Servidor Fraccionado y los clientes, este método promete mejorar la eficiencia del entrenamiento en dispositivos edge. Este avance es significativo ya que no solo aumenta la escalabilidad de las aplicaciones de aprendizaje automático, sino que también asegura que puedan operar de manera más efectiva en escenarios del mundo real, haciendo que la tecnología sea más accesible y eficiente.

Une étude récente présente une approche innovante pour l'apprentissage fédéré fractionné (SFL), abordant le problème persistant des stragglers qui entrave les performances dans les systèmes d'apprentissage distribués. En améliorant l'interaction entre le serveur fractionné et les clients, cette méthode promet d'améliorer l'efficacité de l'entraînement sur les appareils edge. Cette avancée est significative car elle augmente non seulement la scalabilité des applications d'apprentissage automatique, mais garantit également qu'elles peuvent fonctionner plus efficacement dans des scénarios réels, rendant la technologie plus accessible et efficace.

A recent study introduces an innovative approach to Split Federated Learning (SFL), addressing the persistent straggler issue that hampers performance in distributed learning systems. By enhancing the interaction between the Split Server and clients, this method promises to improve the efficiency of training on edge devices. This advancement is significant as it not only boosts the scalability of machine learning applications but also ensures that they can operate more effectively in real-world scenarios, making technology more accessible and efficient.

Towards Straggler-Resilient Split Federated Learning: An Unbalanced Update Approach

Was this article worth reading? Share it

Metaflow AI

Augmeta

Legion AI